WebRTC架构和通话原理

原创 已于 2023-02-20 17:09:28 修改 · 612 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#webrtc #音视频

于 2023-02-15 18:23:46 首次发布
本文介绍了WebRTC的整体架构，包括Web应用开发者API、浏览器API和自定义实现部分，重点讲解了PeerConnection对象在音视频应用中的关键作用。接着阐述了WebRTC的通话原理，包括媒体协商（通过SDP协议确定编解码器）和网络协商（NAT穿越，涉及STUN和TURN服务器）。最后，详细描述了一对一通话的流程，强调了ICE候选技术和信令服务器在建立通话链路中的重要性。

一、WebRTC整体架构

（1）、紫色部分是web应用开发者API层

（2）、蓝色实线部分是面向浏览器厂商的API层

（3）、蓝色虚线部分浏览器厂商可以自定义实现

其中最重要的是PeerConnection，只关注这个对象就可开发音视频应用。

二、WebRTC通话原理

1.媒体协商

彼此要了解对方支持的媒体格式

Peer-A支持VP8+H264的编解码器，Peer-B支持VP9+H264的编解码器。

要保证二端都正确的编解码，要用他们的交集H264，要怎么知道使用H264呢？需要通过媒体协商机制相互告诉对方支持哪些编解码器，使用共同的编解码器。

专门的协议SDP（Session Description Protocol），可描述这类信息。

在Webrtc中，参与视频通讯的双方必须先交换SDP信息，这样双方才能知道彼此信息，而交换SDP的过程，即为“媒体协商”。

最低0.47元/天 解锁文章
崔保平
关注
WebRTC 架构
shichaog的专栏
04-30 6565
WebRTC Native框架 我的书： 购买链接： 京东购买链接 淘宝购买链接 当当购买链接 WebRTC还是比较庞大的，咋一看无从下手，本篇以WebRTC自带的例子，阐述WebRTC Native核心的音频、视频和信令三个部分，WebRTC本身架构是P2P的，信令的部分也是围绕P2P展开的，好了，废话不多，直接上正文了。 WebRTC是Google开源的Web实时音视频通信框...
深入解析WebRTC服务器架构：原理、应用与优化
hey5178的博客
09-30 1148
这种架构的优点在于，它既可以保持较低的延迟和较轻的服务器负载，又可以解决Mesh架构中客户端资源消耗过多的问题。然而，Mesh架构的缺点也很明显，它需要每个客户端都分配更多的端口和系统资源，同时还需要消耗更多的上行网络带宽。因此，这种架构比较适合网络状况较好，且人数较少的场景，如一对一的音视频通话。MCU架构是一种集中式的架构，所有的音视频数据都先传输到MCU服务器，再由MCU服务器进行转发。然而，MCU架构的缺点也很明显，由于所有的音视频数据都需要经过服务器转发，因此延迟较高，且服务器负载较重。
WebRTC 通话原理
Jarvis的博客
03-14 556
WebRTC通话原理STUN和TURN STUN做了什么？ 告诉我你的公网IP地址+端口是什么。但是STUN并不是每次都能成功的为需要的NAT通话设备分配IP地址的。P2P使用本地带宽。多人视频通话的过程中，通话质量的好坏旺旺需要根据使用者本地的带宽确定。 STUN干不了的，TURN干。 STUN分配公网失败后，可以通过TURN服务器请求公网IP地址作为中级地址。这种方式的带宽由服务器端承担。 WebRTC中经常用到2个协议，STUN和TURN服务器我们使用coturn开源项目来搭建。 ICE(
WebRTC 技术深度解析：实时通信的未来引擎
最新发布
你若盛开，清风自来
11-12 2067
WebRTC是一项开源技术，为浏览器提供点对点的实时音视频通信能力。它通过MediaStream、RTCPeerConnection和RTCDataChannel等API实现音视频采集、网络传输和数据交换。WebRTC采用UDP协议降低延迟，并使用FEC和重传机制保证数据传输可靠性。该技术已广泛应用于视频会议、在线教育、社交娱乐等领域。尽管面临隐私安全、网络兼容性等挑战，但随着5G普及和技术融合，WebRTC将为实时通信带来更高质量和沉浸式体验，成为未来互联网交互的重要技术基础。（150字）
Webrtc的通话原理
lxt18324686966的博客
11-16 4081
本文记录了在学习Webrtc时的原理解析和思路，有错误感谢提出 Webrtc作用：简单来说就是建立一个互联网浏览器间的实时通信的平台； 从问题展开学习思路：当两个不同网络环境的（具备摄像头/麦克风多媒体设备的）浏览器，要实现点对点的实时音视频对话，难点在哪里？ 问题一：假设A和B为要进行通信，如果此时A端采用的是VP8做编码，并将数据发送给B端，由于B端只有h264和VP9所以B端是无法进行解码的； 解决方法是要提前进行媒体协商，要知道对方支持的媒体格式，然后使用双方都支持的格式进行通信； 如何实现媒体协
WebRTC通话原理
努力努力再努力L
02-06 843
1. 前言 当两个不同网络环境的（具备摄像头/麦克风多媒体设备的）浏览器，要实现点对点的实时音视频对话需要进行： 媒体协商 网络协商 2. 目录 媒体协商 SDP 网络协商 NAT是什么？ NAT穿透又是什么？
WebRTC音视频通话环境搭建1
08-04
3. TURN Server：TURN Server是WebRTC架构中的中继服务器，负责中继音视频流和数据传输。 WebRTC音视频通话环境搭建 要搭建WebRTC音视频通话环境，需要完成以下步骤： 1. 安装Node.js和Git 2. 克隆WebRTC示例代码...
从小白到入门webrtc音视频通话，Android端webRtc客户端代码
02-05
学习这个项目，你可以深入理解WebRTC的工作原理，并掌握在Android上构建实时音视频通话应用的基础。 需要注意的是，WebRTC的实现往往涉及到复杂的网络和多媒体处理，理解并优化这些问题对于提升用户体验至关重要。...
WebRTC架构图说明
u012944685的专栏
07-19 2398
首先我们通过webRTC官网上的一张图了解一下webRTC的架构： 网上也有很多资料说这张图在webRTC的官网上，但是很多童鞋根本就找不到。这是因为很多童鞋没有进行科学上网： WebRTC架构说明英文文档：https://webrtc.github.io/webrtc-org/architecture/ 对于WebRTC的架构说明，官方的英文文档已经说的很清楚了，所以本文可能更多的是充当这一个翻译者的角色。下面我们从上往下分别了解WebRTC的架构设计。 三层架构 首先我们从图中可以看出webRTC被划
深入理解WebRTC
weixin_34202952的博客
09-28 308
Web Real-Time Communication（Web实时通信，WebRTC）由一组标准、协议和JavaScript API组成，用于实现浏览器之间（端到端）的音频、视频及数据共享。 WebRTC使得实时通信变成一种标准功能，任何Web应用都无需借助第三方插件和专有软件，而是通过简单地JavaScript API即可完成。 在We...
WebRTC架构介绍
Ziwubiancheng的博客
09-11 1388
WebRTC早期作为一个VOIP公司的软件,被谷歌收购了之后(金额令人眼馋!!!)加入了一些强大的编解码器什么的,最终形成了一个强大的解决方案,并且已经加入了W3C推荐标准中.为啥这么做呢?原因很简单:谷歌内心寻思着:我已经都帮你想好了,调好了,总之就是做好了,还特别稳定高效,你直接调用JS的api就行了(即使您是即使半天只能憋出一个hello world的水平也是可以调用的).专业术语来说就是:不要重复造轮子!!!优秀的接口封装:上层调用API的用户"傻瓜式"调用,这也是最好的接口设计,越简单越好;
webrtc整体架构
qq_25218777的博客
07-23 1114
媒体采集：客户端通过 API（如 getUserMedia）采集本地音视频，经媒体引擎预处理。信令交换：双方通过信令服务器交换 SDP（媒体能力）和 ICE 候选者（网络地址）。P2P 连接：ICE 框架基于候选者建立最优连接（优先直连，失败则用 TURN 中继）。媒体传输：音视频通过 RTP 实时传输，RTCP 动态调整质量；数据通过 RTCDataChannel 传输。渲染播放：接收端解码后渲染音视频，完成实时通信。
WebRTC：Mesh/MCU/SFU网络架构
努力努力再努力L
02-02 5350
1. WebRTC网络架构有Mesh、MCU，SFU三种，其中： 1. Mesh：成本最低，但没有对多人实时互动场景提供很好的支持。 2. MCU：支持多人实时互动，需要对音视频流进行重新解码、混流、编码、对服务器要求高，成本以及延时也是最高。 3. SFU：支持多人实时互动，不需要在服务器端对媒体流进行编解码，因此降低了对服务器的要求，延时也低。
webRTC进阶-概览-之二：WebRTC 典型应用架构
北雨南萍
03-21 1486
一个典型的WebRTC应用架构 ，如下图所示： ​​
WebRtc架构及组成详解
程序猿老樊的博客
01-31 1843
1.什么是WebRtc? WebRTC，名称源自网页即时通信（英语：Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的API。它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。 ...
一文带你了解webrtc基本原理（动手实现1v1视频通话）
王清培的个人博客
08-06 5645
webrtc (Web Real-Time Communications) 是一个实时通讯技术，也是实时音视频技术的标准和框架。大白话讲，webrtc是一个集大成的实时音视频技术集，包含了各种客户端api、音视频编/解码lib、流媒体传输协议、回声消除、安全传输等。对于开发者来说可以借助webrtc非常方便的实现低延时视频通话能力。现在主流的直播系统、会议系统基本都是基于webrtc来实现。...
WebRTC架构图详解
m0_73627566的博客
07-03 513
Web API层的作用是将复杂的底层技术抽象为简单易用的接口，让开发者能够专注于业务逻辑的实现，而无需关注底层的实现细节。引擎层：引擎层是WebRTC的核心引擎，包括了音频引擎、视频引擎和网络传输引擎。音频引擎负责音频数据的采集、编解码和播放，视频引擎负责视频数据的采集、编解码和显示，网络传输引擎负责音视频数据的传输和接收。本文将详细解析WebRTC的架构图，包括其核心功能层、Web API层和应用层，旨在帮助读者理解这一复杂技术的内在逻辑，并提供一些实际应用和实践经验。二、Web API层。
WEBRTC
swt198852的专栏
11-01 8312
WebRTC 目录 简介 架构 1.    WebRTC架构组件介绍 2.    Network Stream API 3.    RTCPeerConnection 4.    Peer-to-peer Data API 相关 分析 1.    视频 2.    音频 展开 简介 架构 1.    WebR
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值