WebRTC(Web Real-Time Communication)于2011年6月1日开源,并在Google、Mozilla、Opera的支持下被纳入万维网联盟的W3C推荐标准,它通过简单的API为浏览器和移动应用程序提供实时通信(RTC)能力。
WebRTC的优点是跨平台、实时传输、音视频引擎、免插件、免费、强大的打洞能力、主流浏览器支持。无论终端运行环境是浏览器、桌面应用、移动设备(Android或iOS)还是IoT设备,只要IP连接可到达且符合WebRTC规范就可以互通。
2.1 应用层
可实现音视频会议、远程教育、远程协作、照相机、音乐播放器、共享桌面、音视频录制、实时通信工具、P2P网络加速、文件传输工具、游戏直播、互动游戏、实时人脸识别、远程机械手操作等应用。
2.2 接口层
2.2.1 Web API
为Web应用层提供的JavaScript接口。
W3C的WebRTC文档:https://www.w3.org/TR/webrtc
WebRTC API文档:https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API
2.2.2 libwebrtc
使用WebRTC C++源码在Windows、Android、iOS等平台编译后的开发包,可打造原生的WebRTC应用程序。
2.2.3 C++ API
是Web API和libwebrtc的底层实现,包含了连接管理、连接设置、会话状态和数据传输的API。
2.3 Session层
由应用开发者自定义实现,提供会话建立和管理功能。信令主要用来转发会话双方的媒体信息和网络信息。一般选择TCP或基于TCP的HTTP/HTTPS、WS/WSS等协议作为信令服务器的传输协议。
2.4 核心引擎层
2.4.1 音频引擎(Voice Engine)
包含音频处理的一系列解决方案,主要包含模块:
1)iSAC(Internet Speech Audio Codec):是VoIP音频流的宽带和超宽带音频编解码器,是WebRTC音频引擎的默认编解码器。
2)iLBC(Internet Low Bitrate Codec):是VoIP音频流的窄带音频编解码器。
3)NetEQ for Voice:是针对音频软件实现的语音信号处理元件。NetEQ是自适应抖动控制算法以及语音包丢失隐藏算法,该算法能够快速且高解析度地适应不断变化的网络环境,确保音质优美且缓冲延迟最小,能够有效地处理网络抖动和语音包丢失时对语音质量产生的影响。
4)AEC(Acoustic Echo Canceler):回音消除器,是一个基于软件的信号处理元件,能实时地去除MIC采集到的回声。
5)NR(Noise Reduction):噪声抑制,是一个基于软件的信号处理元件,用于消除与相关VoIP的某些类型的背景噪声(如嘶嘶声、风扇噪音等)。
2.4.2 视频引擎(Video Engine)
包含视频处理的一系列解决方案,主要包含模块:
1)VP8:是WebRTC视频引擎默认的视频图像编解码器。
2)Video Jitter Buffer:视频抖动缓冲器,可以降低由于视频抖动和视频信息包丢失带来的不良影响。
3)Image Enhancements:图像质量增强模块,对网络摄像头采集到的视频图像进行处理,包括敏感度检测、颜色增强、降噪处理等,用来提升视频质量。
2.4.3 网络传输(Transport)
涉及音视频数据的发送、接收,网络打洞等。WebRTC在UDP之上增加了3个协议:
1)DTLS(Datagram Transport Layer Security):数据包传输层安全性协议,用于加密媒体数据和应用程序数据。
2)SRTP(Secure Real-time Transport Protocol):安全实时传输协议,用于传输音频和视频流。
3)SCTP(Stream Control Transport Protocol):流控制传输协议,用于传输应用程序数据。
2.5 设备层
主要与硬件交互,涉及内容:在各终端设备上进行音频的采集与播放、视频的采集、网络层等。