PeerConnection, WebRtcSession, VideoTrack的关系

最新推荐文章于 2024-05-11 00:15:00 发布
最新推荐文章于 2024-05-11 00:15:00 发布
阅读量2k 收藏 3
点赞数
分类专栏： webrtc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24283329/article/details/72724216
版权

本地视频要发送出去，需要将VideoTrack(包含在stream中)添加到PeerConnection中去，它添加进去的过程也挺复杂的，先看下与之相关的类图吧：
这里写图片描述

然后我们再看下创建的流程：
这里写图片描述

从前面文章的本地视频渲染可以知道，要想得到一帧图片，需要通过将一个“sink”通过AddOrUpdateSink()将自身注册到videotrack中去，这样当一帧图像准备好时，通过调用sink的OnFrame()来处理图片。我们再来看下面这个图：

奔向火星005
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
WebRTC源码分析——视频流水线建立（上）
yinshipin007的博客
03-08 625
视频源可以是摄像头，也可以是桌面、窗口抓屏(远程桌面，基于视频流的电子白板等应用)，甚至可以是磁盘上的视频文件，图片文件。VideoTrackSource没有实现VideoSinkInterface接口，因此，实质上视频数据是不会流入到VideoTrackSource中的，但其组合了VideoSource对象，并且实现了VideoSourceInterface接口，添加到VideoTrackSource中的VideoSink会被添加到VideoSource，然后进一步添加到VideoBroadcast中。
WebRtc AudioTrack and VideoTrack
闲敲棋子落灯花
10-23 3269
WebRtc Stream 里封装了AudioTrack和VideoTrack Vector.    WebRtc的 A/V Track 其实就是 Video/Audio Source 和一些状态。   Track的状态定义在　MediaStreamTrack template class MediaStreamTrack : public Notifier { public: type
webrtc入门：4.RTCPeerConnection连接音视频流
haleycat的博客
04-22 9135
有了前面的准备，离视频会议的建设又进了一层了。我们现在准备好了音视频流的数据。双方的视频数据需要交给对方，对方就能看到相关的数据，达到了视频会议的效果。 假设我们是一个视频会议的发起人，我们当然先要知道，我们想跟谁进行视频通话，对方需要把相关的环境数据，比如我用的是什么视频编码啊，我们通信的协议是什么？我们把这些数据信息取了个名字叫 sdp。互相交换了环境数据后，被叫端需要把数据的地址准备好，这些数据协议我们成为 ice，当数据准备完成以后，被叫端把ice发给发起端，发起端通过这个ice就能够连上被叫端了。
WebRTC 的核心：RTCPeerConnection
最新发布
ProgramNovice的博客
05-11 1997
WebRTC 的核心：RTCPeerConnection
本地的VideoFrame渲染一（VideoTrack）
奔向火星的博客
05-23 6543
VideoTrack是webrtc中视频流最上层的接口，它内部其实是经过层层封装，对于本地的VideoTrack(远端的还没研究)，它最终通过VideoCaptureImpl完成本地视频的采集，VideoCaptureImpl实际上是通过DirectShow(windows平台上)与硬件打交道的。可以先看下它简化后的关系： 那么视频帧是如何通过ViedoTrack渲染出来的呢，先看另一个接口：
WebRTC 什么是source，track， sink？什么是AudioSink，VideoSink，MediaSink？
ztf_ange的博客
07-05 2545
在刚接触WebRTC源码的时候，遇到了大量的track，source，sink等关键字，最近渐渐理清了英文语境下这些词的关系。 一、名词解释 source：媒体流提供者 track：应用持有的媒体流，可以用来播放 sink：媒体流接受者 二、Track，Source，Sink关系 三者之间的关系如图： source ---(提供媒体流)---> track ---(输出媒体流)---> sink 例如，在/Sdk/Android包下的VideoTrack.ja...
android webrtc libjingle_peerconnection
03-13
libjingle_peerconnection是Android WebRTC的核心库，提供了P2P（点对点）通信的基础框架，包括ICE（Interactive Connectivity Establishment）用于网络连接，STUN（Session Traversal Utilities for NAT）和TURN...
webrtc-session
05-09
使用WebRTC和Golang构建视频聊天应用2021年2月23日举行的DSC KIIT研讨会“ WebRTC + Golang”的代码PPT 可用前端client是用React编写的，并且将用于开发服务器。 在client目录中运行以下命令npm i安装所有依赖项npm ...
GlenGithub#AndroidNote-1#WebRTC——AudioTrack-VideoTrack解析1
07-25
//一个list里面存的是音频的渲染器//构造方法//添加音频渲染器，与去除音频渲染器//释放掉AudioTrack//方法含义同AudioTrackpriva
webrtc android Demo
02-27
压缩包中的文件"webrtc_demo"很可能包含了上述所有步骤的实现代码，包括Activity、Service、BroadcastReceiver等组件的使用，以及必要的媒体处理类（如VideoCapturer、VideoSource、VideoTrack等）和网络信令处理类...
android使用webrtc视频对讲实例 端到端
01-25
这个库提供了丰富的接口和类，如PeerConnection、VideoCapturer、VideoTrack、AudioTrack等，用于处理音频和视频流的捕获、编码、传输和解码。 3. **基本组件** - **PeerConnection**：这是WebRTC的核心组件，负责...
WebRTC 视频发送和接收处理过程
tq08g2z的专栏
01-01 3057
这里看下视频发送和接收处理过程。分析所基于的应用程序，依然选择 WebRTC 的示例应用 peerconnection_client，代码版本 M96。 应用层创建 VideoTrackSource，创建 VideoTrackInterface，启动本地渲染，并将 VideoTrack 添加进 PeerConnection 中: void Conductor::AddTracks() { if (!peer_connection_->GetSenders().empty()) { retu
webrtc源码分析之-从视频采集到编码流程
weixin_39101999的博客
11-28 1194
本篇文章主要讲述当我们通过peer_connection完成推流时，视频从采集到编码是如何衔接的。既，视频采集后如何传送到编码器。重点分析传输的过程，方便我们对webrtc不同模块的拆分使用。
将VideoTrack“注册”到PeerConnection中
奔向火星的博客
05-25 914
从前面文章的本地视频渲染可以知道，要想得到一帧图片，需要通过将一个“sink”通过AddOrUpdateSink()将自身注册到videotrack中去，这样当一帧图像准备好时，通过调用sink的OnFrame()来处理图片。同理，要想得到视频的图像，必须也要把它与PeerConnection内部的某个对象关联起来。我们再来看下面这个图： 看上图，其实VideoTrack被赋值给了WebRtcVi
WebRTC源码分析——视频流水线建立
ice_ly000的博客
01-17 1436
由于文章在有道云笔记中写的，粘贴复制到简书很多图片没法一次性上传上，偷懒，想看图片的可以看下面笔记的链接： 文档：WebRTC视频流水线建立.note 1. 引言 常见的音视频会话中，一端将本地的音视频数据传输给对端将至少经历3个步骤：采集->编码->传输，将数据从采集模块到发送模块的流动称为音视频数据的流水线。接下来几篇文章中将以视频数据为本来讨WebRTC是如何建立...
Webrtc ios版本 将声音默认输出由听筒改为扬声器
角落里的木头人的博客
08-21 2601
会议再开始时，会重置音频配置 AudioReceiveStream::Start() AudioState::AddReceivingStream(webrtc::AudioReceiveStream* stream) AudioDeviceModuleIOS::InitPlayout() AudioDeviceIOS::InitPlayout() AudioDeviceIOS::InitPlayOrRecord() 准备播放或记录，如果音频会话可以配置，然后初始化音频单元。 AudioDeviceIOS:
WebRTC手记之本地视频采集
weixin_30426065的博客
03-28 573
转载请注明出处：http://www.cnblogs.com/fangkm/p/4374610.html 前面两篇文章介绍WebRTC的运行流程和使用框架接口，接下来就开始分析本地音视频的采集流程。由于篇幅较大，视频采集和音频采集分成两篇博文，这里先分析视频采集流程。分析的时候先分析WebRTC原生的视频采集流程，再捎带提一下Chromium对WebRTC视频采集的适配，这样能更好地理解Web...
WebRTC源码分析-呼叫建立过程之四（中）(创建并添加本地视频轨到PeerConnection)
ice_ly000的博客
05-05 3657
引言
webrtc 视频采集的处理
book_shuinan的专栏
07-24 1120
如果想启动摄像头，并预览视频，m76中的做法是： 首先定义一个VideoTrackSource ， class CapturerTrackSource : public webrtc::VideoTrackSource { 。。。 具体后面说明 } 之后创建该VideoTrackSource的一个实例，这个实例用于后面创建VideoTrack。 不过，创建的使用要注意后续释放...
c++怎么引入webrtc peerconnection
04-28
WebRTC PeerConnection是WebRTC技术框架中重要的一环，它提供了实时音视频通信的能力。如果你想在你的应用程序中使用PeerConnection，你需要经过以下步骤将它引入进来： 1. 首先，你需要在你的应用程序中引入WebRTC...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值