RTSP协议浅析和花屏检测

最新推荐文章于 2024-02-28 09:24:37 发布
最新推荐文章于 2024-02-28 09:24:37 发布
阅读量3k 收藏 15
点赞数 3
分类专栏： # deepstream 文章标签： RTSP 花屏 Gstreamer Deepstream
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hello_dear_you/article/details/128696434
版权

简单介绍

RTSP(Real Time Streamin Protocol)，是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETF RFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传输多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，使用TCP或UDP完成数据传输。

在这里插入图片描述

RTP(Real-time Transport Protocol)，由IETF地多媒体传输工作小组1996年在RFC1880中公布。RTP协议详细说明了在network上传递音频和视频的标准数据包格式。它创建在UDP协议上。
RTCP(Real-time ControlProtocol)，是和RTP一起工作的控制协议，主要功能是为数据传输提供服务质量反馈。
根据上述介绍，可以得知RTSP、RTP和RTCP三个协议分别负责的内容如下图所示：

在这里插入图片描述

实时传输协议RTP

**RTP**为语音、图像、传真等多种需要实时传输的流媒体数据提供端到端的实时传输服务，但不保证服务质量，服务质量由RTCP来提供。
流媒体，指的是Internet上使用流式传输技术的时基媒体。与常见的下载方式不同，流式传输的特点是边下载边观看，无需等到音频或视频数据全部下载完成后在播放。

RTP协议的工作原理

RTP和RTCP位于传输层，运行在UDP协议之上。UDP协议具有实时性好，数据传输延时低等特点，且可以利用UDP的多路复用、校验和服务。

RTP报文分析

RTP数据协议负责对流媒体数据进行封包并实现流媒体数据的实时传输，每个RTP数据packet都由header和payload两部分组成，其中header的前12个字节的含义是固定的，而payload可以是音频或者视频数据。

在这里插入图片描述

其中RTP packet的header定义和含义如下所示：

在这里插入图片描述

RTP封包

当应用程序建立一个RTP会话时，应用程序将确定一对目的传输地址。目的传输地址由一个网络地址和一对端口组成，RTP数据发向偶数的UDP端口，而对应的控制信号RTCP数据发给相邻的奇数UDP端口，这样就构成一个UDP端口对。
RTP协议从上层接收流媒体信息码流，封装成RTP数据包，然后将其发往UDP端口对中偶数端口。
下面以H264视频数据为例，介绍RTP如何封装H264数据。H264有三种打包方式如下：

  • 单NALU打包：一个RTP packet包含一个完整的NALU；
  • 聚合打包：对应较小的NALU，一个RTP报可包含多个完整的NALU；
  • 分片打包：对于较大的NALU，一个NALU可以分为多个RTP packet发送；

每一个RTP packet都包含一个RTP header和 payload，但是不同的打包方式下，除了header和payload之外，还包含了一些其他东西。

  • 单NALU打包

所谓单NALU打包就是将一整个NALU的数据放入RTP包的载荷中，这是最简单的一种方式。

  • 分片打包

每个RTP包都有大小限制的，因为RTP一般都是使用UDP发送，UDP没有流量控制，所以要限制每一次 发送的大小，所以如果一个NALU的太大，就需要分成多个RTP包发送。
分片打包下，RTP中除了header和payload之外，在payload开始之前还有两个字节的信息，如下所 示：

在这里插入图片描述


第一个字节，称为FU Indicator，其格式如下：

在这里插入图片描述

其中高三位，与NAL头的高三位相同，后五位为Type，值为28，表示该RTP packet的分片类型。

  Type    Packet      Type name                       
  ---------------------------------------------------------
  0       undefined                                    -
  1-23    NAL unit     Single NAL unit packet per H.264  
  24      STAP-A       Single-time aggregation packet    
  25      STAP-B       Single-time aggregation packet    
  26      MTAP16       Multi-time aggregation packet     
  27      MTAP24       Multi-time aggregation packet     
  28      FU-A         Fragmentation unit                
  29      FU-B         Fragmentation unit                 
  30-31   undefined

第二个字节，称为FU Header，其格式如下：

在这里插入图片描述

其中，第一位：S，表示该 RTP packet为NALU分片的第一个包，第二位：E，表示该 RTP packet为NALU分片的最后一个包，第三位：保留位，必须设置为0，最后五位：NALU的Type信息。
因此，对于RTP封装H264流数据，在不同打包方式下，RTP数据包的内容如下图所示：

在这里插入图片描述

RTP解包

RTP解包，对于H264数据而言，指的是接收到一个RTP packet，首先需要判断RTP打包方式是单NALU打包还是分片打包，然后在packet payload中获取得到H264的NAL数据，并加上0x00000001起始字节一并写进文件中即可。

RTSP的pipeline

Gstreamer对于RTP和RTSP具有良好的支持。在实际的视觉任务中，都需要通过RTSP获取到实时数据，然后使用深度学习模型对其进行分析。深度学习推理框架Deepstream基于Gstreamer搭建而成，因此对RTSP的pipeline进行分析非常有必要。

pipeline

在Deepstream的环境下，通过如下的命令可以实现拉取RTSP流，然后使用模型对数据进行分析，然后识别的结果保存成一张张连续的图像数据。

gst-launch-1.0 rtspsrc location=rtsp://10.9.4.133/30012 ! rtph264depay ! h264parse ! nvv4l2decoder ! m.sink_0 nvstreammux name=m batch-size=1 width=1920 height=1080 ! nvinfer config-file-path=/opt/nvidia/deepstream/deepstream-6.0/samples/configs/deepstream-app/config_infer_primary.txt batch-size=4 unique-id=1 ! nvmultistreamtiler rows=1 columns=1 width=1920 height=1080 ! nvvideoconvert ! nvdsosd display-bbox=0 display-text=0 ! nvvideoconvert ! jpegenc ! multifilesink location=test%d.jpg

pipeline可视化

对于上述的pipeline，可以通过如下的步骤导出pipeline的结构图，具体如下：

  1. 安装dot
 sudo apt-get install graphviz
  1. 设置文件输出环境变量
export GST_DEBUG_DUMP_DOT_DIR=/tmp/
  1. 运行pipeline

新建终端，拷贝上述的命令，修改实际的RTSP地址，运行命令。在上述指定的路径下，此时会生成很 多dot文件，如下图所示：

$  ls /tmp 
0.00.00.238129310-gst-launch.NULL_READY.dot
0.00.00.247064574-gst-launch.READY_PAUSED.dot
0.00.00.632677398-gst-launch.PAUSED_PLAYING.dot
0.00.05.464861472-gst-launch.PLAYING_PAUSED.dot
0.00.05.484623147-gst-launch.PAUSED_READY.dot
  1. 生成pipeline结构图
dot -Tpng 0.00.05.464861472-gst-launch.PLAYING_PAUSED.dot > aa.png
dot -Tpdf 0.00.05.464861472-gst-launch.PLAYING_PAUSED.dot > aa.pdf

相关的elements介绍

pipeline的结构如下图所示，由于上述命令的pipeline结构比较复杂，这里主要提出了参与RTSP的部分elements。

在这里插入图片描述


在这里插入图片描述

rtpjitterbuffer

This element reorders and removes duplicate RTP packets as they are received from a network source.
该元素重新排序并删除从网络源接收到的重复 RTP 数据包。
该element需要RTP payload的clock-rate信息，用于评估delay延迟。
如果接收到packet时间比较迟，则会触发一个GstRTPPacketLost event。通过该event，depayloader或者其他element可以创建concealment数据或者一些其他逻辑来处理丢失的数据packet。
jitterbuffer 结合输入buffer的DTS属性和PTP packet中的rtptime属性来初始化输出buffer的PTS属性。
jitterbuffer通过初步计算一个packet何时到达，如果一个packet到达时间过迟，可以向上游发送一个GstRTPRetransmissionRequest event（重传）。
This element will automatically be used inside rtpbin.（RtpBuffer）

rtph264depay

Extracts H264 video from RTP packets
从 RTP 数据包中提取 H264 视频，也就是我们上面介绍的RTP解包过程。在该element的实现中，gst_rtp_h264_depay_process函数中实现了RTP数据包的解包工作。

丢包模拟

流媒体数据通过RTSP协议传输在实际场景下，由于网络、带宽等原因，数据在传输过程中存在丢包（RTP packet）导致解码得到的图像数据存在花屏，而对于视觉算法而言，花屏就会导致误检降低检测性能，因此需要尽可能避免花屏的出现。
在这一小节中，首先介绍如何人为制造花屏数据，以便进行后续花屏检测的测试工作。在Linux平台下，提供一个流量控制工具TC，能够模拟一些异常的网络情况，例如网络延时长、丢包、网络地址连接不通等。
TC工具的主要用法如下：
传输延迟

  • 将设备eth0网卡的传输设置为延迟100毫秒发送
tc qdisc add dev eth0 root netem delay 100ms
  • 将传输设置为延迟100ms ± 10ms
tc qdisc add dev eth0 root netem delay 100ms 10ms

模拟网络丢包

  • 随机丢掉1%的数据包
tc qdisc add dev eth0 root netem loss 1%
  • 随机丢掉1%的数据包，成功率为30%
tc qdisc add dev eth0 root netem loss 1% 30%

模拟包重复

  • 随机产生1%的重复数据包
tc qdisc add dev eth0 root netem duplicate 1%

模拟包损坏

  • 随机产生 0.2% 的损坏的数据包
tc qdisc add dev eth0 root netem corrupt 0.2%

模拟包乱序

  • 有 25% 的数据包(50%相关)会被立即发送,其他的延迟10 秒
tc qdisc change dev eth0 root netem delay 10ms reorder 25% 50%

删除规则

sudo tc qdisc del dev eth0 root

显示规则

sudo tc -s qdisc ls dev eth0

利用TC实现花屏

RTSP传输数据过程中，花屏造成的主要原因是RTP packet内部数据丢失造成，因此通过TC工具的模拟队丢包命令即可得到花屏数据。

  1. 模型丢包

首先在一台机器上将视频数据完成RTSP推理，然后输入如下模拟丢包命令：

# 在当前设备上模拟丢包5%
tc qdisc add dev eth0 root netem loss 5%
# 查看当前设备已经运行的TC命令
sudo tc -s qdisc ls dev eth0
  1. 运行命令，拉取RTSP流

输入如下命令，拉取RTSP流，得到每一帧的图像数据

gst-launch-1.0 rtspsrc location=rtsp://10.9.4.133/30012 ! rtph264depay ! h264parse ! nvv4l2decoder ! m.sink_0 nvstreammux name=m batch-size=1 width=1920 height=1080 ! nvinfer config-file-path=/opt/nvidia/deepstream/deepstream-6.0/samples/configs/deepstream-app/config_infer_primary.txt batch-size=4 unique-id=1 ! nvmultistreamtiler rows=1 columns=1 width=1920 height=1080 ! nvvideoconvert ! nvdsosd display-bbox=0 display-text=0 ! nvvideoconvert ! jpegenc ! multifilesink location=test%d.jpg
  1. 查看花屏数据
    在这里插入图片描述

花屏检测

造成花屏的本质原因是数据传输过程中RTP包丢失，也即RTP packet中header的seqnum不连续，因此花屏检测的思路如下：

在这里插入图片描述

1. 接收RTP packet，与上一个packet的seqnum对比，判断seqnum是否连续；
2. 如果seqnum不连续，判断接收到的RTP packet的NAL Type，判断是否为关键帧；
3. 如果不是关键帧，则将该RTP packet的数据抛弃；
4. 一直抛弃数据，直到下一个关键帧，才开始重启处理数据；
上述花屏检测的业务逻辑可以在**rtph264depay element**的源码中实现，上述过程存在一个问题，由于花屏会丢弃一些数据，导致画面帧可能不连续~~~

参考链接

  • https://zhuanlan.zhihu.com/p/72917813
  • https://blog.csdn.net/u013554213/article/details/98078955
  • https://developer.aliyun.com/article/243398
hello_dear_you
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实测可用的rtsp、rtmp在线视频流地址
weixin_45728126的博客
04-01 2021
【代码】实测可用的rtsp、rtmp流视频地址。
gstreamer中的rtpjitterbuffer
MeRcy_PM的博客
10-09 3480
本文主要介绍了gstreamer中的rtpjitterbuffer功能、简要处理流程及一些参数。
OpenCV/VideoWriter录像花屏分析
柳鲲鹏
02-28 582
这几天研究了一下录像代码，使用的OpenCV/VideoWriter。前后进行了一番分析，改进了代码。然后发现一个怪事：播放产生的录像文件，花屏。一般出现在网络传输时，关键帧丢失导致的。咱这代码也没走网络，通过RTSP抓取的视频画面，然后写入文件。恢复了代码，有所改善，也还存在。再分析，判断是跟分辨率相关。修改后的代码增大了分辨率，就容易发生。
利用GStreamer 解析RTSP视频流，并保存cv::Mat
qthello
03-10 1545
硬解码rtsp视频流，并封装成opencv Mat,供后续使用。
花屏检测。
gminti的博客
11-24 348
【代码】花屏检测。
RTSP流媒体花屏
u011703477的博客
08-19 7411
Android：RTSP流媒体花屏 (2013-02-23 07:33:33) 转载▼ 标签： android 流媒体 rtp rtsp it 分类： Android机制   原文地址：http://blog.sina.com.cn/s/blog_645b74b90101igar.html   记录和同事分析的一个流媒体花屏问题
视频编解码 — 卡顿与花屏
11-30 3220
使用CBR的码控来编码可以使得一段时间内的编码输出码率尽量接近预估带宽，但有时候编码画面很大的帧或者需要编码IDR帧的时候，还是会使得变化后的一帧会比较大。3、如果接收端等待一个RTT时间后还没有收到对应的RTP包，再次将该序号加入到重传请求中，如果连续多次没收到，那就不再将该包加入到NACK报文中了。，从网络预估出来的带宽很小，但实际播放的画面复杂，且需要的编码码率又比较高，容易出现发送码率大于实际带宽的问题。之后再按照预估带宽大小，对应的发送速度，将缓冲区中的数据发送到网络中。如果重传没有收到包。
将rtsp转成rtmp协议播放时花屏问题解决
weixin_40592935的博客
05-23 1030
播放花屏由于ffmpeg通过udp协议拉取rtsp丢包所致, 改为通过tcp传输则正常: 正常命令如下: /usr/local/bin/ffmpeg -rtsp_transport tcp -i rtsp://admin:admin85275093@192.168.1.64:554/h264/ch1/main/av_stream -vcodec copy -an -f flv rtmp://127.0.0.1/live/hks2 ...
Rtsp协议和数据解析Demo
最新发布
03-28
Rtsp协议和数据解析Demo 1、Rtsp协议交互 2、RTP包解析 3、H264数据渲染 RTSP是 TCP/IP 协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒体数据。RTSP在体系结构上位于RTP和...
RTSP 的协议和格式分析
12-22
RTP 打包原则：RTP 的包长度必须要小于 MTU(最大传输单元)，IP 协议中 MTU 的最大长 度为 1500 字节。除去 IP 报头（20 字节）、UDP 报头（8 字节）、RTP 头（12 字节）， 所有 RTP 有效载荷（即 NALU 内容）的长度...
rtsp协议文档.rar
09-10
rtsp协议文档。
opencv打开rtsp视频流并显示视频
09-02
VS2008编译，opencv2.4.1打开rtsp视频流并显示视频，里面包含opencv的lib、dll以及头文件，包含了完整的工程。可以编译，也可以直接运行编译好的exe
NVIDIA显卡花屏测试
03-28
NVIDIA显卡花屏测试程序,从入门到精通！十二分教程！~
基于OpenCV的RTSP播放器
03-06
基于OpenCV+MFC编写的RTSP播放器，有兴趣的可以down下来玩一下
rtsp.rar_RTSP c++_c RTSP_rtsp_rtsp 协议 实现_rtsp协议
09-14
rtsp协议的主要实现代码，里面的函数值得参考。
rtsp.rar_rtsp_rtsp 协议 实现_rtsp协议
09-23
rtsp协议的主要实现代码，里面的函数值得参考。头文件6
FFmpeg相机花屏花图问题解决方法
OneBaBa的专栏
05-23 4739
FFmpeg相机花图问题解决方法 一、问题现象 使用FFmpeg进行进行相机rtsp连接获取相机码流并解码在本地显示，这个过程中有遇见相机花图等问题，排查后发现有花图。正常情况下图像为 出现花图的情况时图像如下： 二、解决方法 1、设置相机参数--将影响网络传输和解码依赖性的参数都调低 拿海康相机为例：网页登陆相机192.168
在gstreamer rtp h264 depayloader中，将检查输入流是字节流还是打包流
wwwmmmwww12的博客
07-07 512
在gstreamer rtp h264 depayloader中，将检查输入流是字节流还是打包流。 谁能告诉我这两种格式有什么区别？ 同样，对于字节流，codec_data不会写入大写。知道为什么会这样吗？ H264（NAL）字节流 主要用于直接发送到单台PC上的解码器，而不通过网络传输。它具有简单的格式规则： 每帧均以相同的3字节起始码 0x000001 开头 字节流必须以“序列参数集”帧开始，然后是“图像参数集”帧，然后可以跟随其他帧（I，P，B） 其中的所有帧都是整帧-如果IDR帧的大小为10MB，则
opencv判断图片模糊/花屏
IT_zxl001的博客
08-17 3258
使用opencv对图像的质量进行判断
详细阐述RTSP协议的原理和过程
06-09
RTSP（Real-Time Streaming Protocol）是一种用于实时传输音视频数据的协议，其基于客户端/服务器模型，用于控制多媒体数据的传输。下面是RTSP协议的原理和过程： 1. 客户端发送请求：客户端向服务器发送一个RTSP请求，包括连接信息、媒体类型等。 2. 服务器返回响应：服务器接收到客户端的请求后，返回一个RTSP响应，包括状态码、描述信息等。 3. 客户端与服务器建立连接：如果响应状态码为200，客户端和服务器开始建立连接，通过RTSP协议进行音视频数据交换。 4. 客户端发送播放请求：客户端向服务器发送一个播放请求，包括媒体类型、播放速度等信息。 5. 服务器返回播放响应：服务器接收到播放请求后，返回一个播放响应，包括状态码、描述信息等。 6. 数据传输：客户端和服务器开始进行音视频数据的传输，客户端可以通过RTSP协议控制媒体数据的播放、暂停、停止等操作。 7. 结束连接：当客户端完成播放或其他操作后，会向服务器发送一个停止请求，服务器返回一个停止响应，然后客户端和服务器断开连接。 总的来说，RTSP协议是一个控制流协议，用于控制媒体流的传输，而不是实际的数据传输协议。它可以用于控制任何形式的媒体流，包括实时流和存储流。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值