WebRTC技术文档 -- 2.WebRTC的技术架构（笔记）

WebRTC（Web Real-Time Communication）于2011年6月1日开源，并在Google、Mozilla、Opera的支持下被纳入万维网联盟的W3C推荐标准，它通过简单的API为浏览器和移动应用程序提供实时通信（RTC）能力。

WebRTC的优点是跨平台、实时传输、音视频引擎、免插件、免费、强大的打洞能力、主流浏览器支持。无论终端运行环境是浏览器、桌面应用、移动设备（Android或iOS）还是IoT设备，只要IP连接可到达且符合WebRTC规范就可以互通。

2.1 应用层

可实现音视频会议、远程教育、远程协作、照相机、音乐播放器、共享桌面、音视频录制、实时通信工具、P2P网络加速、文件传输工具、游戏直播、互动游戏、实时人脸识别、远程机械手操作等应用。

2.2 接口层

2.2.1 Web API

为Web应用层提供的JavaScript接口。

W3C的WebRTC文档：https://www.w3.org/TR/webrtc

WebRTC API文档：https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API

2.2.2 libwebrtc

使用WebRTC C++源码在Windows、Android、iOS等平台编译后的开发包，可打造原生的WebRTC应用程序。

2.2.3 C++ API

是Web API和libwebrtc的底层实现，包含了连接管理、连接设置、会话状态和数据传输的API。

2.3 Session层

由应用开发者自定义实现，提供会话建立和管理功能。信令主要用来转发会话双方的媒体信息和网络信息。一般选择TCP或基于TCP的HTTP/HTTPS、WS/WSS等协议作为信令服务器的传输协议。

2.4 核心引擎层

2.4.1 音频引擎（Voice Engine）

包含音频处理的一系列解决方案，主要包含模块：

1）iSAC（Internet Speech Audio Codec）：是VoIP音频流的宽带和超宽带音频编解码器，是WebRTC音频引擎的默认编解码器。

2）iLBC（Internet Low Bitrate Codec）：是VoIP音频流的窄带音频编解码器。

3）NetEQ for Voice：是针对音频软件实现的语音信号处理元件。NetEQ是自适应抖动控制算法以及语音包丢失隐藏算法，该算法能够快速且高解析度地适应不断变化的网络环境，确保音质优美且缓冲延迟最小，能够有效地处理网络抖动和语音包丢失时对语音质量产生的影响。

4）AEC（Acoustic Echo Canceler）：回音消除器，是一个基于软件的信号处理元件，能实时地去除MIC采集到的回声。

5）NR（Noise Reduction）：噪声抑制，是一个基于软件的信号处理元件，用于消除与相关VoIP的某些类型的背景噪声（如嘶嘶声、风扇噪音等）。

2.4.2 视频引擎（Video Engine）

包含视频处理的一系列解决方案，主要包含模块：

1）VP8：是WebRTC视频引擎默认的视频图像编解码器。

2）Video Jitter Buffer：视频抖动缓冲器，可以降低由于视频抖动和视频信息包丢失带来的不良影响。

3）Image Enhancements：图像质量增强模块，对网络摄像头采集到的视频图像进行处理，包括敏感度检测、颜色增强、降噪处理等，用来提升视频质量。

2.4.3 网络传输（Transport）

涉及音视频数据的发送、接收，网络打洞等。WebRTC在UDP之上增加了3个协议：

1）DTLS（Datagram Transport Layer Security）：数据包传输层安全性协议，用于加密媒体数据和应用程序数据。

2）SRTP（Secure Real-time Transport Protocol）：安全实时传输协议，用于传输音频和视频流。

3）SCTP（Stream Control Transport Protocol）：流控制传输协议，用于传输应用程序数据。

2.5 设备层

主要与硬件交互，涉及内容：在各终端设备上进行音频的采集与播放、视频的采集、网络层等。