WebRTC之丢包重传协议

丢包处理可以使用FEC前向纠错、NACK丢包重传。上一篇文章咱们介绍过前向纠错,现在来探讨丢包重传。首先是接收端发送基于RTCP反馈的请求,发送端收到请求后重传指定packet包。

1、重传包格式

重传包的格式由RTP头、OSN、原始payload数据组成。OSN表示原始序列号,如下图所示:

2、重传包RTP头

重传包的时间戳必须与原始包保持一致。如果原始包的RTP头有扩展字段,那么重传包也必须携带相同的扩展字段。如果原始包包含padding填充数据,那么重传包应该移除padding填充数据或者把padding标志位置为1。

3、重传与原始stream关系

在session多路复用的场景,重传stream和原始stream共享同一个session会话。另外,重传stream和原始stream共享同一个CNAME。

4、重传请求

NACK通过rtcp-fb反馈消息,由接收端发起的重传请求。发送重传请求之前,接收端应该考虑带宽、延时、媒体包类型等因素。除了重传请求,接收端还应该发送RR(Receiver Report)来报告RTT延时。接收端在检测到丢包时不应该马上发送丢包重传请求,而是加上延时来补偿重排序的包。

丢包重传的类型如下(不仅限于):

  • FIR:请求关键帧,对应PT=192;
  • NACK:否定应答,对应PT=193;
  • RTPFB:rtp丢包重传,对应PT=205;
  • PSFB:指定payload重传,对应PT=206;

其中,PSFB又包括PLI、SLI、RPLI,具体如下:

PLI:Picture Loss Indication,视频帧丢失标识;

SLI:Slice Loss Indication,片段丢失标识;

RPSI:Reference Picture Selection Indication,参考帧选择标识;

对应的rtcp报文格式如下,PT表示载荷类型,FCI表示反馈控制信息:

不同PT的报文有不同的FCI。以NACK报文为例,包含PID和BLP。其中PID为丢包序号,BLP为连续16个包的丢失状态。描述如下:

5、拥塞控制

RTP重传包会增加网络拥塞的风险。因此,重传包应该在原始包基础上降低码率。另外,发送端可以选择性重传,对重要的packet包进行重传,对优先级高的优先重传,不重要的packet包可以忽略NACK消息。

6、SDP协议映射

丢包重传使用到SDP的协议说明如下:

  • MIME类型:video、audio、text、application,在SDP中用"m="作为媒体名称;
  • MIME子类型"rtx",在SDP的"a=rtpmap"进行描述;
  • AVPF特定参数ack和nack,在SDP的"a=rtcp-fb"进行描述;
  • 重传包的参数apt和rtx-time,在SDP的"a=fmtp"进行描述,以键值对的形式出现;

以MPEG-4码流为例,对应的重传会话如下:

7、缓存控制

重传包不应该进行缓存 。在session多路复用的场景,"Cache-Control"应该设为"no-cache"。

WebRTC是一个实时通信的开源项目,其源码开发涵盖了视频编码、打包以及流程模块等。在这个开发笔记中,我将对WebRTC的视频编码打包流程模块进行图解说明。 WebRTC的视频编码打包流程主要涉及到以下几个模块:视频源模块、视频编码模块、打包模块和传输模块。 首先是视频源模块,它负责从摄像头或者文件中获取视频数据。该模块通过调用底层API来获取视频帧,并将其传递给下一个模块。 接下来是视频编码模块,它负责将获取到的视频帧进行压缩编码。具体来说,该模块会对视频帧进行压缩算法处理,将其转换为可传输的数据格式。WebRTC支持多种视频编码算法,如VP8、H.264等。 然后是打包模块,它负责将编码后的视频数据打包成数据包。该模块会对视频数据进行分片,并为每个片设置头部信息,以便接收端能够正确解析和处理。 最后是传输模块,它负责将打包好的视频数据通过网络传输到接收端。该模块依赖于网络协议,如UDP或TCP等进行数据传输。在传输过程中,还会涉及到网络拥塞控制和丢包重传等机制,以保证传输的稳定性和可靠性。 以上就是WebRTC视频编码打包流程模块的图解说明。通过这些模块的协作,WebRTC能够实现实时的视频传输和通信功能。开发者可以根据需要对各个模块进行定制和扩展,以满足不同的应用场景需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

徐福记456

您的鼓励和肯定是我创作动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值