【WebRTC---源码篇】（九）媒体协商与网络传输(持续更新)

已于 2023-09-19 15:06:29 修改
阅读量310 收藏
点赞数
分类专栏： WebRTC从入门到精通（持续更新中） 文章标签： webrtc 媒体
于 2022-06-06 19:38:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40179458/article/details/125152638
版权
本文深入探讨WebRTC的媒体协商过程，包括创建offer/answer的回调机制、时序图分析以及关键点。同时，介绍了网络传输中的ICE过程和Candidate的收集，解析媒体协商与网络传输的实现细节。
摘要由CSDN通过智能技术生成

媒体协商（从应用角度）

1.媒体协商的过程

2. 重要的接口类

1.其中OnSuccess和OnFailure是创建offer或者answer消息成功或者失败的回调

2.Conductor继承了这个接口

3.CreateOffer时把Conductor作为参数传入，指定为回调接口对象

3.时序图

时序图分析：

1.在主线程调用createoffer创建offer信息

2.在createoffer会进行线程切换，进行真正的offer内容构建

3

了解本专栏 订阅专栏 解锁全文 超级会员免费看
༄yi笑奈何
关注
专栏目录
订阅专栏
【WebRTC---源码篇】（十七）WebRTC音频引擎
用可见的方式来记录和分享每一次收获
11-05 395
webrtc音频引擎
WebRTC媒体协商及实践
fuxuan_7的博客
10-10 860
WebRTC 处理流程图： WebRTC 终端，负责音视频采集、编码、NAT穿越、音视频数据传输。 Signal服务器，负责信令处理，如加入房间、离开房间、媒体协商消息的传递。 STUN/TURN 服务器，负责获取WebRTC终端在公网的IP地址，以及NAT穿越失败后的数据中转。 主要基础概念： 帧率：摄像头一秒钟采集图像的次数；一般情况下，一秒可采集30张-100张图片。帧率越高，视频越平滑，占用带宽越大。 编码帧：视频数据流通过编码器（H264/H265\VP8/VP9）压缩后的帧。 ​ I 帧：关键
webrtc媒体协商
qq_43559669的博客
12-24 408
sdp信息中包括媒体流，支持的解码器是什么等等。支持哪些流，ssrc是什么。 peerconnection create offer，然后setlocalDescrption。（缓存自己的sdp信息）发给对端，对端收到之后setRemoteDescription，保存远端sdp信息，然后create answer，生成sdp信息，自己用setlocal description，自己保存起来，然后发给对端。 流媒体服务要制作sdp信息，然后和webrtc客户端通信。流媒体服务器可以使用完整的webrtc库来.
基于WebRTC实现音视频通话
qq_37196748的博客
07-05 1238
就是开启交换的起点，交换的开启者应该是先进房间的人发起的，如果是一个多人的房间则新进来的人是没有建立连接的对象，其他已经在房间里建立连接的人都需要主动和他建立连接请求。发起方开启视频预览，关联相机画面到，本地的视屏流和音频流开启，在会话创建的时候就应该开启，PeerConnectionFactory是一个很核心关键的类，用于生成各种核心功能对象。进入呼叫界面，点击拒绝或者接受,接受后发送进入房间的消息给服务器，服务器添加用户到房间后发送进入成功的消息给本人，并且发送给所在房间的其他人新人进入的消息。
【万字长文】WebRTC浅析与实战
随风丶逆风的博客
09-02 1394
推荐阅读时长25分钟 前言 目前市场上音视频技术方案大致分为以下几类，WebRTC因其超低延时、集成音视频采集传输等优点，是在线教育、远程会议等领域首选技术。 方案 优势 劣势 应用场景 基于浏览器插件的flash播放RTMP 即将淘汰 即将淘汰 传统直播 跨平台的HLS/DASH 播放方案 - 跨端广泛支持：苹果浏览器原生支持 - hls.js - 延时高 - 碎片化 传统直播，如赛事直播、大型会议直播 基于HTML5 MSE 能力的flv播放技术 - 格式简单 - 无需.
4-5.WebRTC中的媒体协商
weixin_46983030的博客
05-23 306
这样peer connection在媒体协商的时候就知道我们要协商哪些信息了，那我们是否有音频，是否有视频，视频的参数是怎样的，音频的参数是怎样的？将远端的answer也设置到自己的缓冲区中，最终呢，就可以进行媒体协商了，那以上呢，我们再来看看媒体协商的时序图，那在这个时序图中呢，一共包括四个组件儿，那第一个呢就是呼叫端a。那对于这张图来说呢，我们一定要牢牢掌握，因为媒体协商呢，是我们使用webrtc非常关键的一个步骤。我们介绍的主要是协商的一个完整的过程，那对于协商时我们使用的sdp中的详细内容。
WebRTC（三）媒体协商技术
u010029439的博客
01-26 361
WebRTC通过ICE技术可以实现客户端P2P连接，但是在两端进行P2P连接前还需要先进行媒体协商。WebRTC媒体协商技术主要包括两部分：一部分是SDP（Session Description Protocol）协议，另一部分是JSEP（JavaScript Session Establishment Protocol）协议。 SDP协议 SDP协议，即会话描述协议，它提供一种描述实时音视频通信所需的各种参数的通用描述，是一个文本信息。简单来说，SDP就是客户端的各端的音视频实时通信的能力，能力指的是
django-channels-webrtc-源码.rar
10-10
《Django Channels与WebRTC深度解析》 Django Channels与WebRTC是现代Web开发中的两项关键技术，它们分别拓展了Django框架的潜力和实现实时通信的能力。在本篇文章中，我们将深入探讨这两个概念，以及如何将它们...
nerdtalk-webrtc-ios:适用于 ios 的 WebRTC 客户端
06-21
在WebRTC中，信令协议用于建立和维护连接，包括协商会话参数（如音视频格式、编码速率等）以及传输ICE（Interactive Connectivity Establishment）候选等。Objective-C客户端可能提供了信令服务器的接口，开发者...
webrtc-can-be-easy:WebRTC 可以很简单！
06-25
WebRTC（Web Real-Time Communication）是一种开放的网络标准，它允许在浏览器之间进行实时通信，无需任何插件或第三方软件。这个技术的核心是提供音视频通信能力，使得开发者可以构建丰富的、互动性强的在线应用，...
WebRTC通话原理-媒体协商
亢少军的博客
03-22 685
作者: 亢少军 首先两个客户端（Peer-A和Peer-B）想要创建连接，一般来说需要有一个双方都能访问的服务器来帮助它们交换连接所需要的信息。有了交换数据的中间人之后，它们首先要交换的数据是Session Description Protocol（SDP），这里面描述了连接双方想要建立怎样的连接。 彼此要了解对方支持的媒体格式。比如，Peer­A端可支持VP8、H264多种编码格式，而Peer­B端支持VP9、H264，要保证二端都正确的编解码，最简单的办法就是取它们的交集H264。如下图所示。 有一个
WebRTC(十二) Web端媒体协商
simple_a的博客
11-09 1259
媒体协商的目的是让对端知道自己支持哪些媒体格式。 其主要流程是首先设置
Web前端WebRTC攻略(四) 媒体协商与SDP简析
irainsa的博客
03-29 580
在没有建立 WebRTC 连接传输数据前，首先需要让本地端和远端确认彼此共同支持的媒体能力。如：音视频编解码器、使用的传输协议、IP 端口和传输速率等等。而这些信息需要通过前文所说的 SDP 来互换，这个过程称之为媒体协商。SDP 全称 SessionDescription Protocal，直译就是通用会话描述协议。光看直面意思可能不太好理解，其实就是描述双方的会话信息，以及各端所具备能力的通用协议。
webrtc学习（七）-媒体协商
weixin_42317175的博客
08-22 765
媒体协商嘴主要的作用就是看通信双方都支持那些编解码器，这些编解码器又包含那些参数，比如音频的参数包括采样率，采样大小，通道数，对于视频的参数包括分辨率帧率等一系列参数，此外传输中用的payloadtype也是协商中确定的，这些信息都是在sdp中进行的描述。
6.1.webrc媒体协商
weixin_46983030的博客
11-23 477
媒体协商的过程中呢，就会进行网络传输的创建，编解码器的创建等等，这些呢，都是在set local description中实现的。我们来看一下y8 rtc的媒体协商，那实际上在我们之前的课程中呢？那我们在进行网络传输的时候呢，实际是希望这个数据越小越好，越紧凑越合适，那如果你要传一个更大的数据，它占的网络带宽就会越多。那当只有某一项的时候，比如只有offer或者answer的时候，那他只做其中的一半工作，那剩下的一半工作呢，要交给下一个API，也就是set remote description来进行完成。
WebRTC源码研究（36）WebRTC客户端增加媒体协商逻辑
kyl282889543的博客
06-18 231
文章目录WebRTC源码研究（36）WebRTC客户端增加媒体协商逻辑 WebRTC源码研究（36）WebRTC客户端增加媒体协商逻辑
webrtc中媒体协商中的媒体数据方向
lxkj_2024的博客
06-08 383
createOffer的参数表示了我们希望接受的媒体数据，代表了数据接收方向，在上面demo中实际上由offerOptions的offerToReceiveAudio和offerToReceiveVideo决定，当参数取值为true时表示我们希望接受对应类型的媒体数据。addTrack的参数表示了我们可以提供的媒体数据，代表了数据发送方向，在上面demo中track实际上由mediaOptions中的audio和video参数决定，当参数取值为true时表示我们可以提供对应类型的媒体数据用于发送。
WebRTC媒体协商01 流程介绍
最新发布
Ziwubiancheng的博客
09-23 1021
媒体协商
linux webrtc-streamer源码编译
07-30
要编译Linux的webrtc-streamer源码，需要按照以下步骤进行操作： 1. 首先，确保你的Linux系统上安装了所有编译所需的依赖项。这些依赖项可能包括cmake、libssl-dev、libasound2-dev、libavutil-dev等。可以使用包管理工具如apt-get或yum来安装这些依赖项。 2. 下载webrtc-streamer源码。可以通过使用git命令克隆webrtc-streamer的GitHub仓库，或者下载源代码的压缩文件并解压。 3. 进入源码的根目录，并创建一个构建目录。例如，可以在源码根目录下使用命令`mkdir build`来创建一个名为build的目录。 4. 进入构建目录，并运行cmake命令来配置项目。例如，可以使用命令`cmake ..`来配置项目。这将根据系统环境自动生成Makefile文件。 5. 运行make命令来编译源码。可以使用命令`make`来编译代码。这将根据生成的Makefile文件编译源码。 6. 完成编译后，在构建目录下你将找到生成的可执行文件。可以通过运行该文件来启动webrtc-streamer。例如，使用命令`./webrtc-streamer`来启动。 编译过程可能会因为系统环境不同而有所差异，可能会遇到一些错误或警告。如有需要，可以通过查看项目的文档或咨询相关的开发者社区来获取更多信息和帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

༄yi笑奈何

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值