音视频开发系列(21)历经5代跨越25年的RTC架构演化史

RTC架构演化史

随着移动互联网普及和疫情叠加，实时通信技术（RTC）一时间成为炙手可热的技术方向，RTC从1996年开始到如今已经发展成为一个非常复杂的技术领域，其包含了网络传输、全局调度、媒体处理算法、媒体编解码、信令协议、输入输出设备、Web、操作系统等相关的技术，至今为止发展了25年。这期间伴随互联网发展经历了多次技术迭代，从网络通信架构演化过程来看可把它分为5个阶段（这里称为5代），每个阶段RTC从终端技术到通信架构都有大的技术变化。

第1代：MCU阶段（1996~2004年）

第2代：P2P阶段（2001~2007年）

第3代：单SFU阶段（2003~2012年）

第4代：云SFU阶段（2010~2017年）

第5代：全球实时云通信阶段（2016至今）

可以说每一代都是风起云涌的时代，每一代又都是“卷王”的时代。这里我不去“卷”RTC某一领域的技术细节和应用，而是通过分析这5个阶段的大环境背景和用户侧场景诉求是如何推动RTC技术演化变迁的，来帮助大家更好地理解RTC这个技术领域，也是对自己音视频从业以来的一个总结。

MCU阶段

上个世纪90年代中期，随着WWW互联网的崛起，大量的终端用户通过电话线拨号涌入互联网，当时上网的终端网速只有56kbps（俗称56K猫），看网页、下载图片有时候需要数十秒钟。网速慢且流量昂贵，但企业和个人都有通过PC联网的强烈需求。

• 企业场景：通过PC互联实现内部线上会议替代传统的电话会议，企业信息融合通信。

• 个人场景：通过PC互联实现点对点实时语音沟通。

H.323

在这种大背景下，ITU（国际电信联盟）基于传统PSTN架构在1996年率先推出H.323/RTP的IP网络多媒体标准，并在H.323协议中提出了MCU和网关的概念，与此同时IETF组织也在1996年发布了RTP规范（RTC1989），并在后续规范中进一步完善了RTP/RTCP体系（RFC3550/3551），ITU后来将这几个规范合并到H.323标准当中。H.323架构如下：

图-1:H.323架构

H.323标准不仅指定了传输协议RTP，它还制定了媒体编码规范（G.7xx/H.261/H.263）、媒体协商协议（H.245）、信令协议（RAS/H.225）、网络安全协议(H.235)等。其中媒体编码影响深远，几乎现在实时音视频编码算法都是从这里演化而来。H.323标准定义了点对点通信和多人会议通信，点对点通信和多人会议通信的差别是点对点通信的媒体是终端直接通信，而多人会议媒体需要经过MCU，MCU按需重编码合流后进行媒体数下发。这里不得不提一句，H.323的ASN.1协议编码技术确实精妙，但也没逃过被淘汰的命运。

架构小结

H.323架构后续在互联网应用中受限于网络NAT和终端带宽问题，从而迅速演化成单中心MCU服务模式，MCU既负责网络媒体合流也负责信令接入，即第一代MCU架构：

图-2: MCU架构

优点：增强了Client的联通性，合流让终端的下行带宽缩小，让Client在当时带宽下可以获得可通话的质量。

缺点：MCU的计算量大，中心合流带来的扩展性比较差，容易引来系统瓶颈。

MCU架构是在互联网初期终端带宽稀缺且昂贵的条件下产生的架构，终端的形态也各式各样，PC、IP话机、PBX网关等。随着PC互联网的到来，这一切迅速发生了改变。

 P2P阶段

PC互联网的发展促使了PC终端网络的快速迭代。1999年，ITU批准了ADSL技术成为宽带标准，下载速度可达8Mbps，上行可以到1Mbps，ADSL利用原有电信线路搭建起来的终端接入方式迅速铺开。ADSL解决了终端带宽瓶颈问题，一时间IM社交（OICQ/MSN）和P2P下载服务（KaZaA/BT/eMule/迅雷）成为PC互联网的主宰。同时摩尔定律继续发挥效应，终端PC的计算能力进一步加强，已经出现双核CPU。终端设备的升级使得个人用户的互联网通信成为主流并形成了新的实时通信需求，同时也给RTC通信带来新的变革和机会，其主要场景包括：

企业场景：基于VPN-Lan的VoIP通信，企业希望通过互联网接入能力构建自己内部的IP语音通信网络。

个人场景：社交IM场景下的1V1实时音视频通信，免费的IP语音服务替代传统的PTSN收费服务，同时社交类的视频需求变得强烈。

关注+私信我，领取2022最新最全学习提升资料，内容包括（C/C++，Linux，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）

 

RTC技术黄金期

正是终端计算能力和带宽能力大幅提升，RTC技术形成了黄金发展时期，出现了众多影响至今的技术和模型。

• SIP/SDP协议

IETF针对互联网实时通信提出自己的信令标准SIP和媒体协商协议SDP，SIP协议采用UDP+HTTP文本方式实现协议编码，连接过程原语遵循了电话呼叫的流程。其简单直接的方式一经推出后就获得了很多厂商的支持，这时就面临与原来H.3