WebRTC系列-视频VideoBroadcaster与视频流

最新推荐文章于 2024-08-18 10:31:19 发布
最新推荐文章于 2024-08-18 10:31:19 发布
阅读量779 收藏 1
点赞数 1
分类专栏： WebRTC进阶 文章标签： webrtc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lym594887256/article/details/128477344
版权
本文深入探讨了WebRTC中的VideoBroadcaster组件，解析了如何添加sink以及视频数据在VideoBroadcaster中的分发过程。在VideoBroadcaster添加sink时，详细介绍了MediaChannel、WebRtcVideoSendStream和AdaptedVideoTrackSource的角色。而在VideoBroadcaster的OnFrame方法中，阐述了视频数据如何被分发到各个sink，并处理旋转和填充黑帧的情况。
摘要由CSDN通过智能技术生成

文章目录


在前面的文章视频的采集流程中，视频数据采集完成后到编码器之前，如果需要渲染处理那里需要两路视频，WebRTC是实现了一个视频分发器VideoBroadcaster；用来分发采集的视频帧；
这篇文章主要以iOS为例介绍VideoBroadcaster分发视频流的过程，需要强调的是iOS的本地渲染没有使用VideoBroadcaster，而是直接通过系统提供的预览类直接显示；Android和pc端的实现都是经过 VideoBroadcaster流转数据后显示；

1. VideoBroadcaster 添加sink

在VideoBroadcaster类的AddOrUpdateSink方法中断点，当peerconnection添加视频的track后，首次断点的调用堆栈如下：
在这里插入图片描述
这里从堆栈的最上层开始分析，在VideoRtpSender类的SetSend()方法中，主要是找到source然后切换到work线程，其主要代码如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
WebRTC系列--track的set_enabled详解
HOSTEN的博客
09-14 522
最近项目中发现远端的视频调用track的set_enabled设置成false后，视频画面是黑屏；通过断点分析，发现gl部分还是有视频帧，并且在渲染；这篇文章就是set_enabled这个接口开始，详细分析其中调用流程；本文会详细的分析这个接口的调用流程；
【WebRTC---源码篇】（五）WebRTC视频引擎
用可见的方式来记录和分享每一次收获
04-21 377
1. 视频数据的采集时间 2.视频分发器VideoBroadCaster 视频数据如何进入分发器
webrtc-video-broadcast:WebRTC视频广播
05-26
WebRTC视频广播 通过WebRTC将视频从设备（broadcast.html）发送到查看器（index.html）。 使用WebRTC的getUserMedia（），RTCPeerConnection（）， <video> ， <canvas> ，Node.js和Socket.io | |
探索实时音视频广播的未来 —— WebRTC Video/Audio Broadcast
最新发布
gitblog_00890的博客
08-18 278
探索实时音视频广播的未来 —— WebRTC Video/Audio Broadcast WebRTC-Video-BroadcastWebRTC video/audio broadcast项目地址:https://gitcode.com/gh_mirrors/we/WebRTC-Video-Broadcast 在数字时代，即时通讯和高效传播比以往任何时候都显得至关重要。今天，我们为您介绍一个开...
WebRTC One-Way video sharing/broadcasting / Demo
VMLINUZ的专栏
12-22 1049
https://github.com/muaz-khan/WebRTC-Experiment/tree/master/webrtc-broadcasting WebRTC One-Way video sharing/broadcasting / Demo Participants can view your broadcasted video anonymously.
我需要一个媒体服务器来进行一对多的WebRTC广播吗？
weixin_33733810的博客
02-27 224
作者：Tsahi Levent-Levi（原文链接） 翻译：刘通 原标题：Do I Need a Media Server for a One-to-Many WebRTC Broadcast? 译文刊载于WebRTC.org.cn，欢迎入群讨论：659922087 一个字回答：要。 这是我这个星期经常被问到的问题。答案也很简单—是的，需要。 接着我收到了一个没有预料到的提问： 为什么需要？...
WebRTC Experiments & Demos
linuxarmsummary的专栏
06-11 1687
WebRTC Experiments & Demos It is a repository of uniquely experimented WebRTC demos; written by Muaz Khan!No special requirement! Just WebRTC compatible web-browser (e.g. chrome/firefox/opera on de
webrtc 源码分析 视频的采集与分发器
宝安小雨
10-29 856
>->vcm_=RegisterCaptureDataCallback(this)//为这个视频设备设置回调，this为VcmCapture的对象，拿到视频后给这个对象。->TestVideoCapturer::AddOrUpdateSink(sink, wants)//这里类里有分发器对象最为引用的。)//创建一个视频设备。可以看到当完成编码器这块后，调用的过程和第一种方法相同了，把编码器注册进sink_pairs。VcmCapturer持有vcm_这个对象作为成员，vcm_具有控制底层摄像头的能力。
WebRTC源码分析——视频流水线建立（上）
yinshipin007的博客
03-08 713
视频源可以是摄像头，也可以是桌面、窗口抓屏(远程桌面，基于视频流的电子白板等应用)，甚至可以是磁盘上的视频文件，图片文件。VideoTrackSource没有实现VideoSinkInterface接口，因此，实质上视频数据是不会流入到VideoTrackSource中的，但其组合了VideoSource对象，并且实现了VideoSourceInterface接口，添加到VideoTrackSource中的VideoSink会被添加到VideoSource，然后进一步添加到VideoBroadcast中。
WebRTC实践视频聊天室
xxxlllbbb的博客
09-03 1175
技术前言 通过前几次教程已经可以轻松的实现两个浏览器之间的文本信令交互和视频对讲功能。本次课程要融合以前所有技术点，做一次综合性实例，采用nodejs实现一个完整的聊天室功能。其界面样式仿照微信的界面搭建。 接口方法 在此我根据实例代码用到的接口做如下讲解,为了方便本实例我们采用nodejs开发，其中用到了socket.io技术。如果对socket.io（https://socket.io/）不明白的话可以先学习一下socket.io再回来看本教程。 1. io.sockets.on(‘connection
LiveVideoBroadcaster,原生android应用程序，可以通过rtmp广播和播放实时视频.zip
09-26
Please submit your issues on Ant-Media-Server Native Android app that can broadcast and play live video via RTMP - It is developed by Ant Media How to Develop a Live Streaming Mobile App in 3 Steps? Developing a live streaming mobile app is not a very quick and easy job if you develop every piece on
WebRTC视频采集、编码和发送过程
lincaig的专栏
04-11 7430
二、摄像头采集、时间戳设置以及数据传递过程 VideoCaptureImpl是视频采集的实现类，各个平台都会实现它的子类，子类中会做平台相关的具体实现。子类中采集到的Frame数据都是通过VideoCaptureImpl::IncomingFrame传递进来。如Android平台具体实现的子类为VideoCaptureAndroid，Linux平台为VideoCaptureModuleV4L2。
webrtc源码分析 视频采集发送流程
liuhongxian的专栏
03-01 1295
1、简述 video_loopback demo演示了怎么从call这一层创建流，接下来看一下视频的采集，编码，发送流程，本文只是粗略的跟踪流程，具体细节知识点后续分析。 webrtc的更新太快，模块有些调整，也加了些处理流程，所以得重复的去看流程，也是因为脑子不好使，看完接着忘。 2、跟踪代码 ...
WebRTC源码分析——视频流水线建立
ice_ly000的博客
01-17 1556
由于文章在有道云笔记中写的，粘贴复制到简书很多图片没法一次性上传上，偷懒，想看图片的可以看下面笔记的链接： 文档：WebRTC视频流水线建立.note 1. 引言 常见的音视频会话中，一端将本地的音视频数据传输给对端将至少经历3个步骤：采集->编码->传输，将数据从采集模块到发送模块的流动称为音视频数据的流水线。接下来几篇文章中将以视频数据为本来讨WebRTC是如何建立...
WebRTC笔记之十四：将WebRTC用于多人音视频通信
草上爬的博客
04-02 7732
WebRTC非常适合点对点（即一对一）通信。 但是，当我与客户讨论超出一对一（即一对多或多对多）的解决方案和服务时，问题就出现了：“我应该采用哪种架构？”。 有些服务提供商希望复用他们网络中的组播支持（我们正在为此尝试做一些实验），有些正在探索基于联播（simulcast）的解决方案，还有一些正在考虑像MCU /Mixer这样的集中式解决方案，而其中一些 只是愿意通过使用基于Mesh的技术将负担放
本地的VideoFrame渲染一（VideoTrack）
奔向火星的博客
05-23 6687
VideoTrack是webrtc中视频流最上层的接口，它内部其实是经过层层封装，对于本地的VideoTrack(远端的还没研究)，它最终通过VideoCaptureImpl完成本地视频的采集，VideoCaptureImpl实际上是通过DirectShow(windows平台上)与硬件打交道的。可以先看下它简化后的关系： 那么视频帧是如何通过ViedoTrack渲染出来的呢，先看另一个接口：
WEBRTC 视频接收原理及流程
伍意的博客
07-25 7650
创建解码器 VideoChannel::SetRemoteContent_w->BaseChannel::UpdateRemoteStreams_w-> WebRtcVideoChannel2::AddRecvStream->WebRtcVideoChannel2::AddRecvStream[new WebRtcVideoReceiveStream]-> WebRtcVideoRe
webrtc视频采集
chinabinlang的专栏
07-27 2047
webrtc\src\webrtc\test 目录中的vcm_capturer.h 和 vcm_capturer.cc 如果仅仅是采集视频，可以参考或直接用这个例子； 一般仅仅是视频数据采集，Windows上直接用directshow就可以了； 移动端用相关平台sdk接口就可以了； webrtc只是实现了上层接口的统一封装而已；
基于WebRTC与Kurento构建流媒体视频通话服务器
基于vs-webrtc-master的项目案例，可以展示如何使用WebRTC和Kurento搭建一个流媒体服务器并实现在线视频通话功能。该项目的文件列表仅包含"vs-webrtc-master"一项，表明可能是该项目的根目录或是一个特定的分支或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值