1、前言
在音视频领域,低延迟交互一直是一个非常重要的需求。 而直播大多基于RTMP协议,其存在1到3秒左右的延迟,基本无法胜任低延迟交互的需求;另外在游戏领域、语音聊天、教育领域,低延迟也是一个非常重要的议题。 下面以直播的连麦架构的设计来简单介绍下整个架构设计的演进流程。
2、最朴素的连麦架构(基于RTMP)
架构设计
基于RTMP的连麦设计.png
架构解析
连麦端A/B存在多平台特性,例如Android、iOS、PC(Web)等,其利用RTMP协议将音视频推送到RTMP服务器。
连麦端A在推送RTMP的同时,拉取连麦端B的RTMP流数据用于播放。
RTMP服务端通过CDN海量分发,将两路音视频数据推送到观众端。
存在问题: 由于RTMP天然存在延迟的特性,业界统计大概在1~3秒之间。 如果我们以一个连麦端点在推流和播流之间的延迟以一个 delay_time (延迟时间)来表示。 也就是说A端看到B端的音视频流是一个 delay_time 之前的数据,如果A端做出回应,那么B端在整个回应需要浪费两个 delay_time 时间(A到B的延迟+B回应A的延迟)。
回应延迟示例.png
理论上延迟需要控制在500毫秒以内才能保证流畅的交流,上述设计明显是不可接受的,自然架构需要升级。
3、引入实时通信的开源框架Webrtc
什么是webrtc
WebRTC 全称 Web Real-Time Communication。 包含了媒体、加密、传输层等在内的多个协议,极大的降低了音视频实时通信技术的门槛。
Andorid/iOS