WEBRTC浅析（三）RTP推送数据流小结

最新推荐文章于 2024-09-29 12:13:24 发布

muwesky

最新推荐文章于 2024-09-29 12:13:24 发布

阅读量882

点赞数

分类专栏： webrtc 网络

本文链接：https://blog.csdn.net/muwesky/article/details/118656393

版权

10 篇文章 11 订阅

订阅专栏

10 篇文章 4 订阅

订阅专栏

本文深入探讨了WebRTC中从摄像头捕获YUV数据，编码为H264，再到RTP包封装及通过PacedSender发送到网络的过程。涉及的关键步骤包括YUV编码、RTP打包、FEC生成以及根据网络状况控制发送速率。

摘要由CSDN通过智能技术生成

这篇文章是对webrtc中，从Capture采集YUV数据，到将YUV编码成H264Frame，再将H264Frame打包成RTP数据包，最终通过发送线程发送出去的流程。

RTP数据包的封装格式可以参考：WEBRTC浅析（一） H264 RTP接收数据流小结

VideCapture 采集YUV数据，通过OnFrame接口把YUV发送给ViEEncoder。
ViEEncoder收到YUV数据后，会进行一下处理：
- 通过UpdateChannelParemeters更新encoder参数。
- 如果发现encoder参数有变化，通过SetEncoderParameters，通知VCMGenericEncoder更改encoder的帧率等信息。
- 调用VCMGenericEncoder 的Encode接口，对这一帧YUV数据进行编码。
如果编码完成，会通过VCMGenericEncoder的OnEncodedImage接口，回调编码后的H264Frame。
H264Frame送到RTPSenderVideo，这里会做两件事情：
- 把H264Frame送给RtpPacketizer，打包成RTP数据包。
- 把生成的RTP包送给RsfecGenerator，生成对应的FEC数据包。
最后调用SendToNetwork接口，把RTP包和FEC包，插入到PacedSender的发送队列中进行发送。PacedSender主要有以下两个功能：
- 会单独起一个线程进行packet的发送。
- 在每次发送之前，会更具当前bitrate计算适合发送的数据量，一旦此次线程发送的数据量达到预算值，立即跳出此次发送。这是为了把大量数据分摊在多个发送循环中进行发送，避免一次发送过多数据而超出网络的承受能力。