【DeepStream】基于英伟达DeepStream框架进行算法开发（一）：GStreamer基础

简介

在当今快速发展的人工智能和计算机视觉领域，英伟达的DeepStream框架提供了强大的工具和功能，帮助开发者快速部署和优化实时视频分析应用。本博客将重点介绍基于英伟达DeepStream框架进行算法开发的方法和技巧，包括如何利用DeepStream框架构建高效的算法模型、实现实时视频流处理和应用优化等内容。通过本博客的学习，读者将能够掌握在DeepStream框架下进行算法开发的关键技能，为自己的视频分析项目提供更加稳定和高效的解决方案。

deepstream 来源于 GStreamer

GStreamer中摄像头测试用命令：

gst-launch-1.0 videotestsrc ! video/x-raw,width=1280 ! fakesink

查看各组件属性的工具：

gst-inspect-1.0 videotestsrc

表现为python版本的代码：

import gi
from gi.repository import GObject,Gst
from common.bus_call import bus_call
source=gst.elementFactory.make("videotestsrc","src")
sink=gst.elementFactory.make("autovideosink","sink")
在pipeline中新增部件
pipeline.add(source)
pipeline.add(sink)
链接已有的部件：
source.link(sink)
运行部分：
from gi.repository import GLib,Gst
获取一个主循环
loop=GLib.MainLoop
获取一个总线
bus=pipeline.get_bus()
bus.add_signal_watch()
#主循环中接收总线消息
bus.connect("message",bus_call,loop)
#设置pipeline的状态，启用pipeline
pipeline.set_state(Gst.State.PLAYING)

try:
     loop.run()
except:
     pass
pipeline.set_state(Gst.State.Null)

三种不同的GStreamer元素：

source element 源
sink element 结尾
filter-like element 过滤器式，即有源，又有下一级

GStreamer关于RTP相关代码

RTP 是一种用于在网络上传输实时数据的协议，通常用于音频和视频的传输。

rtpjpegpay 是 GStreamer 中的一个元素，用于将 JPEG 图像数据打包成 RTP 数据包，以便在网络上传输。在实时通信和视频流传输应用中，可以使用 rtpjpegpay 对 JPEG 图像进行封装，并结合其他 RTP 相关的元素，如 rtpbin 和 udpsink，实现 JPEG 图像数据的流式传输和接收。这样可以确保 JPEG 图像数据在网络中以实时和高效的方式传输，适用于视频会议、监控系统等需要实时传输图像数据的场景。

jetson nano 服务端:
IP:192.168.2.9
rtpjpegpay：将jpeg编码成rtp包向udp进行发送。
gst-launch-1.0 videotestsrc is-live=true ! jpegenc ! rtpjpegpay ! udpsink host=192.168.2.7 port=5004
host是客户端的地址
t
在客户端的接收显示为：
gst-launch-1.0 udpsrc port=5004 ! application/x-rtp,encoding-name=JPEG ! rtpjpegdepay ! jpegdec ! autovideosink

unable to create xxx:注意使用 rm -rf ~/.cache/gstreamer-1.0/

这段代码实际上是在使用 GStreamer 在 Jetson Nano 服务端和客户端之间搭建一个简单的实时视频传输流程，其中服务端将摄像头生成的视频流编码成 JPEG 格式后，利用 RTP 协议将其封装成 RTP 包通过 UDP 发送到指定的客户端地址和端口。

具体来说：

在 Jetson Nano 服务端上，通过 gst-launch-1.0 命令行工具启动 GStreamer 管道，使用 videotestsrc 生成测试视频流，经过 jpegenc 编码为 JPEG 格式，然后通过 rtpjpegpay 将 JPEG 数据打包成 RTP 数据包，最后通过 udpsink 发送到指定的客户端地址（192.168.2.7）和端口（5004）。

在客户端上，使用 gst-launch-1.0 同样通过 GStreamer 创建一个管道，通过 udpsrc 接收来自服务端发送的 RTP 数据包，application/x-rtp,encoding-name=JPEG 表示接收 JPEG 编码的 RTP 数据包，在经过 rtpjpegdepay 解包后，通过 jpegdec 解码为视频帧，最后通过 autovideosink 进行显示。