webrtc 视频数据流程概览

最新推荐文章于 2024-12-09 17:32:16 发布

音视频达人

最新推荐文章于 2024-12-09 17:32:16 发布

阅读量821

点赞数 2

分类专栏： webrtc 文章标签：音视频

本文链接：https://blog.csdn.net/abc1231987/article/details/121074639

版权

本文介绍了WebRTC视频数据从采集、编码、渲染到解码的详细流程。VideoCaptureModule采集视频，通过VideoSource和VideoBroadcaster分发给VideoEncoder进行编码并发送，或LocalPreview进行本地渲染。接收端解码后，VideoBroadcaster将数据分发给RemoteRenderer进行渲染。Windows平台使用DirectShow进行视频采集，VideoFrame对象在渲染和编码中起到关键作用。视频编解码主要使用OpenH264库，支持VP9 SVC和Simulcast技术。

摘要由CSDN通过智能技术生成

视频数据由VideoCapture 采集后交给VideoSource，VideoSource 通过VideoBroadcaster成员，把数据发送给每个VideoSink(VideoEncoder和LoacalPreview）。VideoEncoder把视频数据编码之后交给网络层进行发送，LoacalPreview把视频数据渲染到屏幕上。

从网络层收到视频数据后，先交给VideoEncoder LoacalPreview进行解码，解码之后交给VideoBroadcaster，最后由VideoBroadcaster分发给每个VideoSink（RemoteRenderer）。RemoteRenderer把视频数据渲染到屏幕上。

1、视频采集

VideoCaptureModule ，定义了启停采集（启动时设置参数）和视频数据回调的接口 RegisterCaptureDataCallback，内部还有一个DeviceInfo类，定义了获取相机设备信息的接口。