DeepStream进阶插件之路

最新推荐文章于 2024-09-13 15:56:42 发布
最新推荐文章于 2024-09-13 15:56:42 发布
阅读量1w 收藏 47
点赞数 9
分类专栏： Xavier 文章标签： 自动驾驶 深度学习 deepstream gstreamer xavier
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tosonw/article/details/104286028
版权

一、DeepStream的gst插件

gst插件，即GStreamer插件，是用于实现DeepStream功能嵌入GStreamer编解码流程使用。

GStreamer插件:

GStreamer是用于插件，数据流和媒体类型处理/协商的框架。它用于创建流媒体应用程序。插件是在运行时动态加载的共享库，可以独立扩展和升级。当安排并链接在一起时，插件形成处理流水线，该流水线定义了流媒体应用程序的数据流。您可以通过其广泛的在线文档，从“什么是GStreamer？”开始了解有关GStreamer的更多信息。

开源GStreamer插件：

  • GstFileSrc-从文件中读取数据：视频数据或图像。
  • GstH264Parse-解析传入的H264流。对于H265编解码器，请使用H265Parse。
  • GstRtpH264Pay-将H264编码的有效负载转换为RTP数据包（RFC 3984）。
  • GstUDPSink-将UDP数据包发送到网络。与RTP有效负载（GstRtpH264Pay）配对时，它可以实现RTP流。
  • GstCapsFilter-在不修改数据的情况下限制数据格式。
  • GstV4l2Src-从v4l2设备捕获视频。
  • GstQTMux-将流（音频和视频）合并到QuickTime（.mov）文件中。
  • GstFileSink-将传入数据写入本地文件系统中的文件。
  • GstURIDecodeBin-将数据从URI解码到原始媒体中。它选择可以处理给定“ uri”方案的源元素，并将其连接到解码器。
DeepStream的gst插件:

除了在GStreamer框架库中提供的开源插件之外，DeepStream SDK还包括利用GPU功能的NVIDIA硬件加速插件。有关DeepStream GStreamer插件的完整列表，请参见《 NVIDIA DeepStream插件手册》。

NVIDIA硬件加速插件：

  • Gst-nvstreammux-在发送AI推理之前批处理流。
  • Gst-nvinfer-使用TensorRT运行推理。
  • Gst-nvvideo4linux2-使用硬件加速解码器（NVDEC）解码视频流；使用硬件加速编码器（NVENC）将I420格式的RAW数据编码为H264或H265输出视频流。
  • Gst-nvvideoconvert-执行视频颜色格式转换。Gst-nvdsosd插件之前的第一个Gst-nvvideoconvert插件将流数据从I420转换为RGBA，Gst-nvdsosd插件将Gst-nvdsosd插件将数据从RGBA转换为I420。
  • Gst-nvdsosd-绘制边界框，文本和关注区域（ROI）多边形。
  • Gst-nvtracker-跟踪帧之间的对象。
  • Gst-nvmultistreamtiler-从批处理缓冲区合成2D切片。
  • Gst-nvv4l2decoder-解码视频流。
  • Gst-Nvv4l2h264enc-编码视频流。
  • Gst-NvArgusCameraSrc-提供使用Argus API控制ISP属性的选项。
DeepStream SDK

NVIDIA DeepStream SDK是基于开源GStreamer多媒体框架的流分析工具包。DeepStream SDK加快了可伸缩IVA应用程序的开发速度，使开发人员更容易构建核心深度学习网络，而不必从头开始设计端到端应用程序。包含NVIDIA Jetson模块或NVIDIA dGPU适配器的系统均支持该SDK。它由可扩展的硬件加速插件集合组成，这些插件与低级库进行交互以优化性能，并定义了标准化的元数据结构，可实现自定义/用户特定的添加。

有关DeepStream SDK的更多详细信息和说明，请参考以下材料：
NVIDIA DeepStream SDK开发指南
NVIDIA DeepStream插件手册
NVIDIA DeepStream SDK API参考文档

二、官方插件

通过gst命令可以查看到有很多nvidia官方插件：

nvidia@nvidia-desktop:~/projects/deepstream-test1-app_toson/build$ gst-inspect-1.0 -a |grep NVIDIA
dsexample:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
dsexample:   Description              NVIDIA example plugin for integration with DeepStream on DGPU
dsexample:   Binary package           NVIDIA DeepStream 3rdparty IP integration example plugin
nvof:   Author                   NVIDIA Corporation. Post on Deepstream for Jetson/Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvof:   Description              NVIDIA opticalflow plugin for integration with DeepStream on DGPU
nvof:   Binary package           NVIDIA DeepStream 3rdparty IP integration opticalflow plugin
nvinfer:   Author                   NVIDIA Corporation. Deepstream for Tesla forum: https://devtalk.nvidia.com/default/board/209
nvinfer:   Description              NVIDIA DeepStreamSDK TensorRT plugin
nvinfer:   Binary package           NVIDIA DeepStreamSDK TensorRT plugin
nvmultistreamtiler:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvmultistreamtiler:   Description              NVIDIA Multistream Tiler plugin
nvmultistreamtiler:   Binary package           NVIDIA Multistream Plugins
nvdewarper:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvsegvisual:   Author                   NVIDIA Corporation. Post on Deepstream for Jetson/Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvsegvisual:   Description              NVIDIA segmentation visualization plugin for integration with DeepStream on DGPU
nvsegvisual:   Binary package           NVIDIA DeepStream Segmantation Visualization Plugin
nvdsosd:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvmsgconv:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvofvisual:   Author                   NVIDIA Corporation. Post on Deepstream for Jetson/Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvofvisual:   Description              NVIDIA opticalflow visualization plugin for integration with DeepStream on DGPU
nvofvisual:   Binary package           NVIDIA DeepStream Optical Flow Visualization Plugin
nvmsgbroker:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvstreamdemux:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvstreamdemux:   Description              NVIDIA Multistream mux/demux plugin
nvstreamdemux:   Binary package           NVIDIA Multistream Plugins
nvstreammux:   Author                   NVIDIA Corporation. Post on Deepstream for Tesla forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvstreammux:   Description              NVIDIA Multistream mux/demux plugin
nvstreammux:   Binary package           NVIDIA Multistream Plugins
nvtracker:   Author                   NVIDIA Corporation. Post on Deepstream SDK forum for any queries @ https://devtalk.nvidia.com/default/board/209/
nvv4l2decoder:   Long-name                NVIDIA v4l2 video decoder

三、开源插件源码

请参阅官方文档：https://docs.nvidia.com/metropolis/deepstream/dev-guide/DeepStream%20Development%20Guide/deepstream_custom_plugin.html#wwpID0E0TB0HA

了解到有几个插件源码，大部分都未开源，暂时可以从仅有的插件入手，如果不能支持则需要自己写插件就比较繁琐了。

deepstream开源插件在目录：/opt/nvidia/deepstream/deepstream-4.0/sources/gst-plugins/

nvidia@nvidia-desktop:/opt/nvidia/deepstream/deepstream-4.0/sources/gst-plugins$ ls
gst-dsexample  gst-nvinfer  gst-nvmsgbroker  gst-nvmsgconv

在这里插入图片描述在这里插入图片描述

我们可以先从dsexample开始：
/opt/nvidia/deepstream/deepstream-4.0/sources/gst-plugins/gst-dsexample/gstdsexample.cpp

gst-dsexample插件的描述：
GStreamer示例插件（gst-dsexample）演示了以下内容：

  • 处理整个帧，并根据需要进行缩小/颜色转换。
  • 处理主要检测器检测到的对象，特别是从帧中裁剪这些对象，然后进行裁剪。

请参阅官方文档：https://docs.nvidia.com/metropolis/deepstream/dev-guide/DeepStream%20Development%20Guide/deepstream_custom_plugin.html#wwpID0E0TB0HA

可以使用命令行简单测试：

#----------------------- use dsexample plugin -----------------------
# use mp4 files
gst-launch-1.0 filesrc location=/opt/nvidia/deepstream/deepstream-4.0/samples/streams/sample_720p.mp4 ! qtdemux ! h264parse ! nvv4l2decoder ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 height=720 ! nvvideoconvert ! dsexample full-frame=1 ! nvdsosd ! nvegltransform ! nveglglessink
# use rtsp camera
gst-launch-1.0 rtspsrc latency=2000 location="rtsp://admin:admin123@192.168.1.106:554/cam/realmonitor?channel=1&subtype=0" ! rtph264depay ! h264parse ! nvv4l2decoder ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 height=720 ! nvvideoconvert ! dsexample full-frame=1 ! nvdsosd ! nvegltransform ! nveglglessink

结果：
（如图，画了2个固定不动的框，不明白在表达什么，可以从gstdsexample.cpp里去了解，我正在研究中。）
在这里插入图片描述

四、我的研究之路

1. nvidia官网教程

《使用NVIDIA DeepStream构建实时修订应用程序》：
《Building a Real-time Redaction App Using NVIDIA DeepStream, Part 1: Training》
《Building a Real-time Redaction App Using NVIDIA DeepStream, Part 2: Deployment》
在Part 1中，学习如何使用ResNet34骨干训练RetinaNet网络以进行对象检测。这包括使用容器，准备数据集，调整超参数以及训练模型。
在Part 2中，学习如何构建和部署基于AI的实时应用程序。该模型使用DeepStream SDK 部署在NVIDIA Jetson驱动的AGX Xavier边缘设备上，以实时编辑多个视频流上的人脸。
PS：遗憾的是我没有完成调试，没有环境训练，并且由于得不到part1中的onnx模型文件，所以part2也未能完成。

注：part2中编译/opt/nvidia/deepstream/deepstream-4.0/sources/apps/retinanet_for_redaction_with_deepstream的时候，有一个坑，需要修改Makfile:47行：
增加库-lgstrtp-1.0

2. deepstream源码例程

问了相关人员，暂时未能了解到其他的学习资源，所以还是回到deepstream源码例程中去研究。

objectDetector_SSD例程：
源码路径：/opt/nvidia/deepstream/deepstream-4.0/sources/objectDetector_SSD
方法请查阅README。
该例程需要安装tensorflow：For Jetson, refer to https://elinux.org/Jetson_Zoo#TensorFlow
并且下载：http://download.tensorflow.org/models/object_detection/ssd_inception_v2_coco_2017_11_17.tar.gz

$ cd ssd_inception_v2_coco_2017_11_17
     $ python /usr/lib/python2.7/dist-packages/uff/bin/convert_to_uff.py \
         frozen_inference_graph.pb -O NMS \
         -p /usr/src/tensorrt/samples/sampleUffSSD/config.py \
         -o sample_ssd_relu6.uff

再将得到的sample_ssd_relu6.uff模型文件复制到README目录。
编译并运行：

# 需要指定cuda版本
$ export CUDA_VER=10.0
$ make -C nvdsinfer_custom_impl_ssd
$ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \
        decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \
        height=720 ! nvinfer config-file-path= config_infer_primary_ssd.txt ! \
        nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink
# 或者：
$ deepstream-app -c deepstream_app_config_ssd.txt

objectDetector_Yolo例程：
源码路径：/opt/nvidia/deepstream/deepstream-4.0/sources/objectDetector_Yolo
方法请查阅README。
需要先下载yolo模型文件：$ ./prebuild.sh
（注：其中下载了有yolo-v2、yolo-v2-tiny、yolo-v3、yolo-v3-tiny，根据自己的需要可以关闭不需要的下载）
根据README修改配置文件config_infer_primary_yolo[...].txt。

Tosonw
关注
专栏目录
deepstream中nvdsosd、nvegltransform和nveglglessink两个插件的使用和说明，osd设置显示的属性，eglglessink渲染并显示在屏幕上
pvmsmfchcs的博客
10-29 1353
1 ：Fakesink 2 ：基于EGL的窗口接收器（nveglglessink） 3 ：编码 + 文件保存（编码器 + 混合器 + filesink） 4 ：编码 + RTSP流 5 ：叠加层（仅适用于Jetson） 6 ：消息转换器 + 消息代理；-
Nvidia的jetson开发deepstram的自定义插件，使用gst-dseaxmple插件进行扩充，实现deepstream图像输出前的预处理，实现图像自定义绘制图（精四）
pvmsmfchcs的博客
08-04 1585
里面大致介绍了这个插件的功能，这个插件主要是用来做高斯模糊的，其中的gstdsexample.cpp和gstdsexample_optimized.cpp，我们选择其中一个使用，这个具体用哪个，在Makerfile中配置。另外的dsexample_lib不用管，在编译的时候自动链接，我们需要在Makefile里修改一下自己cuda的版本信息，让makefile找到我们cuda的目录。能看到显示器的地方比较明显模糊，检测到的目标变得模糊了，可能图片不是很明显，其实实际测试出来的效果是很明显的。......
NVIDIA Jetson Linux 35.3.1-开发指南-Accelerated GStreamer
FREEDOM_X的专栏
06-07 986
原文：Accelerated GStreamer — Jetson Linux Developer Guide documentation (nvidia.com) 加速GStreamer 本主题是NVIDIA®Jetson™Linux中包含的基于GStreamer 1.0和1.14版的加速解决方案指南。 注 对GStreamer 1.0版的引用也适用于GStreamer 1.16版。 GStreamer-1.0安装和设置 本节介绍如何安装和配置GStreamer。 安装GStre
【相机方案（2）】V4L2 支持相机图像直接进入GPU内存吗？DeepStream 确实可以将图像数据高效地放入GPU内存进行处理！
最新发布
Hali_Botebie的博客
09-13 1142
V4L2（Video4Linux Two）是Linux内核中用于视频捕获和播放的API，它本身并不直接支持将相机捕获的图像数据直接拷贝到GPU内存而不经过CPU内存。V4L2主要关注于视频设备的控制、数据的捕获和播放，以及数据在内核空间和用户空间之间的传输。然而，在Linux系统中，确实存在技术路径可以使得相机捕获的图像数据尽可能快地传输到GPU内存中进行处理，但这通常涉及多个组件和技术的协同工作，而不仅仅是V4L2本身。DMA是一种允许硬件子系统直接访问主内存而无需CPU介入的技术。
deepstream插件
evsqiezi
05-01 346
output meta https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_metadata.html?highlight=tracker_confidence#new-metadata-fields deepsort github https://github.com/nwojke/deep_sort reid network https://docs.nvidia.com/metropoli...
deepstream插件查找
weixin_41012399的博客
02-24 309
方法一： deepstream是基于gstreamer开发的，所以gstreamer的插件都可以用。从gstreamer官网查找（plugins）： https://gstreamer.freedesktop.org/documentation/multifile/multifilesrc.html?gi-language=c 方法二： 在nx上查找， gst-inspect-1.0 ...
DeepStream插件指南-Gst-nvstreammux
tangyzh的博客
02-06 980
DeepStream插件指南之Gst-nvstreammux插件，讲解Gst-nvstreammux插件的原理、流程、特性和属性。
DeepStream插件指南-Gst-nvstreamdemux
tangyzh的博客
02-06 813
DeepStream插件指南，对插件Gst-nvstreamdemux的原理和流程的说明，并提供3个用例演示该插件的使用。
人脸检测实战进阶：使用 OpenCV 进行活体检测
2401_84139963的博客
04-26 744
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
Java工程师成神之路 | 2022正式版
m0_67698950的博客
06-15 1306
面向对象什么是面向对象面向对象与面向过程面向对象的三大基本特征面向对象的五大基本原则封装、继承、多态什么是多态方法重写与重载Java的继承与实现Java的继承与组合构造函数与默认构造函数类变量、成员变量和局部变量成员变量和方法作用域平台无关性Java如何实现的平台无关性的JVM还支持哪些语言值传递值传递、引用传递为什么说Java中只有值传递小伙伴们有兴趣想了解内容和更多相关学习资料的请点赞收藏+评论转发+关注我，后面会有很多干货。我有一些面试题、架构、设计类资料可以说是程序员面试必备！所有资料都整理到网盘了
2024年人脸检测实战进阶：使用 OpenCV 进行活体检测(1)
2301_82241983的博客
05-01 1168
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
DeepStream：插件和代码库细节
程序猿视角
04-30 654
Plugin or library Path inside sources directory Description DsExample GStreamer plugin gst-plugins/gst-dsexample Template plugin for integrating custom algorithms into DeepStream SDK graph. GStreamer Gst-nvmsgconv plugin gst-plugins/gst-nvmsgconv...
MediaPlayer到ACodec到OMX流程(十九)
Android系统攻城狮
09-01 3983
******************************************************************************** OpenMax（OMX）框架位置及作用 1.android系统中只用openmax来做code，所以android向上抽象了一层OMXCodec，提供给上层播放器用。 播放器中音视频解码器mVideosource、mAudiosou...
DeepStream插件指南-Gst-nvinfer
tangyzh的博客
02-07 1342
DeepStream插件指南中Gst-nvinfer插件的介绍，阐述了Gst-nvinfer插件的工作原理、流程、输入和输出，列出了Gst-nvinfer插件的特性、文件配置规范和Gst属性。
使用deepstream中的ds-example插件，开发自定义插件，实现将视频图像分发到ros，然后可以通过ros接受到实时的数据，然后进行其他车道线等识别的功能
pvmsmfchcs的博客
02-21 509
使用deepstream中的ds-example插件，开发自定义插件，实现将视频图像分发到ros，然后可以通过ros接受到实时的数据，然后进行其他车道线等识别的功能。我测试的时候保存图是没问题的就是在线视频有问题，最后测试发现是mat转rosimg的问题。
Deepstream用户手册——DeepStream应用及配置文件
FREEDOM_X的专栏
06-13 1725
下图显示了NVIDIA®DeepStream参考应用程序的架构。DeepStream 参考应用程序是一个基于 GStreamer 的解决方案，由一组封装低级 API 以形成完整图形的GStreamer插件组成。参考应用程序能够接受来自各种来源的输入，如相机、RTSP输入、编码文件输入，并且还支持多流/源功能。由 NVIDIA 实现并作为 DeepStream SDK 的一部分提供的 GStreamer 插件列表包括：Stream Muxer插件（）形成来自多个输入源的一批缓冲区。
基于deepstream-test3添加跟踪插件和4类sinkType输出（包括rtsp）
zhoubiaodi的博客
01-05 3909
基于deepstream-test3简单实现目标跟踪和4类sinkType输出（包括rtsp）
NVIDIA DeepStream SDK 开发指南-NVIDIA DeepStream概述
tangyzh的博客
02-03 993
NVIDIA DeepStream的概述
deepstream 札记（3）----插件介绍，小例子介绍，论坛地址
怨行客
03-31 1390
原文 1、首先时钟调整到最佳状态 sudo nvpmodel -m 0 sudo jetson_clocks
DeepStream Gst-nvtracker
Untitled的专栏
10-22 505
多路视频流并行推理时，多目标跟踪算法这块容易成为性能瓶颈，如果处理不好反而弄巧成拙，边缘设备上也没那么多资源去支持。DeepStream6.3 版本之前，NvTracker 一直被当成黑箱来使用，现在除了底层的NvMultiObjectTracker库还没有开源外，其他相关的代码已经公开，可以通过已有资料了解其特点和实现。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值