实时音视频聊天技术分享：面向不可靠网络的抗丢包编解码器

本文整理自声网Agora.io编解码算法工匠高泽华在RTC2017实时互联网大会和QCon上海2017上的技术分享。本文仅讨论技术，无关商业因素，请从技术角度理解文中的分享内容即可，如给您带来误导，请在跟贴中指出。

1、前言

无论对于音频编码还是视频编码而言，对于编解码来说，都有不同的应用场景。

比较大的应用场景有两个范围：

• 第一种：面向文件直播的编解码器；

• 第二种：面向网络通信的编解码器。

在不同的应用场景下面，编解码器的选择完全不一样。举个例子，面向直播的时候，延时比较长、丢一些包、网络带宽跳动等，是不需要考虑。可以在离线的时候，充分的利用CPU的能力去编，可以固定I帧的间隔、固定I帧的大小，甚至多个B帧都可以。码率也可以是固定的，这对于录文件和录视频没有问题。

但是如果面向实时网络通信这样恐怕不太好，因为网络是瞬变，而且网络状态一般来说都是会伴随着丢包这样的状态，这个时候就不适合使用，比如说使用固定的I帧间隔，如果I帧丢了就要使用I帧重传。还有就是也不能使用固定的码率，因为码率也是瞬变的。

所以在面向于网络通信的编解码器中，编解码器选择和直播的编解码器的选择差别比较大。比如有人提出在网络通信中硬件压缩是否可以，其实由于不同的厂商对硬件压缩的支持是不一样的，硬件压缩的迭代不一样，编码支持也不太一样。有的硬件版本也不能产生可变I帧大小，或者码率是固定的，如果码率不固定就会自动重启硬件的编解码器。我说的都是一些个例，并不代表所有编解码器都是这样。

我想强调的是，编解码器面向直播和网络通信是不一样的，我今天想说的是面向不可靠传输网络的抗丢包编解码器。

2、抗丢包的重要性

首先我们来思考一下抗丢包的重要性。

在2017年，有几类应用是比较火的。第一类在大学校园最火的游戏应该是王者荣耀和狼人杀，王者荣耀10人组队实时厮杀、还有语音，狼人杀提供实时视频。第二类就是互动直播，主播端把通信直播流发到观众端，同时也可以把观众端拉上麦，实现主播和观众的互动。

我记得沪江的技术负责人吴海滨曾经提出，“在当前互动网络教育中最难解决的问题还是实时性，就是老师跟学生怎么能够更好的互动”。互动直播，在当前网络下给技术提了更高的要求，要求能够在低延时下提供高质量的通信品质。包交换的网络中，要想实现低延时和提高包质量，如果承载信息的包没有按时到达，接收质量不会好。

3、移动网络时代的丢包现状

既然丢包是低延时和高质量的一个拦路虎，我们来看一下当前的网络状态是不是有那么多丢包。

我们提到丢包的时候首先要想到一点，丢包的定义是什么？ 其实对于通信来说丢包并不意味着真正的包丢了，我个人理解“只要包没有按时到达都叫丢包”。比如第一个包没有来，第二个包已经到了，此时第二个包发出去了，那么第一个包再来对我没有任何的帮助，实时通信不可能重来。

对于通信系统而言，下图是一个基本的通信系统，一个APP通过4G和WIFI，再通过公有云实现通信。大家可能会讲了，已经4G、5G，是不是带宽足够大，不需要考虑丢包的问题了呢？