WebRTC学习笔记三 Mesh|MCU|SFU开源实现方案

一、Mesh方案

    即多个终端之间两两进行连接，形成一个网状结构。比如 A、B、C 三个终端进行多对多通信，当 A 想要共享媒体（比如音频、视频）时，它需要分别向 B 和 C 发送数据。同样的道理，B 想要共享媒体，就需要分别向 A、C 发送数据，依次类推。这种方案对各终端的带宽要求比较高。

    当某个浏览器想要共享它的音视频流时，它会将共享的媒体流分别发送给其他 3 个浏览器，这样就实现了多人通信。

1.优势：

• 不需要服务器中转数据，STUN/TUTN 只是负责 NAT 穿越，这样利用现有 WebRTC 通信模型就可以实现，而不需要开发媒体服务器。

• 充分利用了客户端的带宽资源。

• 节省了服务器资源，由于服务器带宽往往是专线，价格昂贵，这种方案可以很好地控制成本。

2.劣势：

• 共享端共享媒体流的时候，需要给每一个参与人都转发一份媒体流，这样对上行带宽的占用很大。参与人越多，占用的带宽就越大。除此之外，对 CPU、Memory 等资源也是极大的考验。一般来说，客户端的机器资源、带宽资源往往是有限的，资源占用和参与人数是线性相关的。这样导致多人通信的规模非常有限，通过实践来看，这种方案在超过 4 个人时，就会有非常大的问题。

• 另一方面，在多人通信时，如果有部分人不能实现 NAT 穿越，但还想让这些人与其他人互通，就显得很麻烦，需要做出更多的可靠性设计。

二、MCU 方案(MultiPoint Control Unit)

    MCU 主要的处理逻辑是：接收每个共享端的音视频流，经过解码、与其他解码后的音视频进行混流、重新编码，之后再将混好的音视频流发送给房间里的所有人，也叫Mixer模式。

    MCU 技术在视频会议领域出现得非常早，目前技术也非常成熟，主要用在硬件视频会议领域。不过我们今天讨论的是软件 MCU，它与硬件 MCU 的模型是一致的，只不过一个是通过硬件实现的，另一个是通过软件实现的罢了。MCU 方案的模型是一个星形结构，如下图所示：

    我们来假设一个条件，B1 与 B2 同时共享音视频流，它们首先将流推送给 MCU 服务器，MCU 服务器收到两路流后，分别将两路流进行解码，之后将解码后的两路流进行混流，然后再编码，编码后的流数据再分发给 B3 和 B4。

    对于 B1 来说，因为它是其中的一个共享者，所以 MCU 给它推的是没有混合它的共享流的媒体流，在这个例子中就是直接推 B2 的流给它。同理，对于 B2 来说 MCU 给它发的是 B1 的共享流。但如果有更多的人共享音视频流，那情况就更加复杂。

    MCU 主要的处理逻辑如下图所示：

• 接收共享端发送的音视频流。

• 将接收到的音视频流进行解码。

• 对于视频流，要进行重新布局，混合处理。

• 对于音频流，要进行混音、重采样处理。

• 将混合后的音视频进行重新编码。

• 发送给接收客户端。

【学习地址】：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发
【文章福利】：免费领取更多音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击1079654574加群领取哦~

  

1.优点

• 技术非常成熟，在硬件视频会议中应用非常广泛

• 作为音视频网关，通过解码、再编码可以屏蔽不同编解码设备的差异化，满足更多客户的集成需求，提升用户体验和产品竞争力。

• 将多路视频混合成一路，所有参与人看到的是相同的画面，客户体验非常好。

2.缺点

• 重新解码、编码、混流，需要大量的运算，对 CPU 资源的消耗很大。

• 重新解码、编码、混流还会带来延迟。

• MCU服务器的压力较大，需要较高的配置。

    大家都知道现今直播的发展要得益于CDN分发体系，CDN主要通过RTMP协议进行传输，而WebRTC的传输协议是RTP/RTCP，所以如果我们需要使用CDN网络进行分发，就需要在服务器中将RTP/RTCP转成RTMP。在WebRTC中，编码格式是OPUS，而RTMP协议对应的编解码格式一般是AAC，通常这两种编码格式之间的转换也是非常现实的需求。同时，在MCU模型中，我们还可以在服务器中增加录制、混流的功能，在直播连麦的情况下，通过混流的方式可以大大减少下行的带宽。

    除了实现以上功能外，由于如今的直播中美颜、滤镜几乎成为了标配，所以实现这种附加功能也是市场普遍的需求。虽然在WebRTC中并没有提供实现美颜、滤镜的接口，但是我们可以在服务器端实现类似的附加功能。根据实际的业务需求，通过MCU多点控制单元，可以实现这类附加功能。

三、SFU(Selective Forwarding Unit)

    SFU 像是一个媒体流路由器，接收终端的音视频流，根据需要转发给其他终端，也叫Router模式。SFU 在音视频会议中应用非常广泛，尤其是 WebRTC 普及以后。支持 WebRTC 多方通信的媒体服务器基本都是 SFU 结构。SFU 的拓扑机构和功能模型如下图：