腾讯云实时音视频技术发展简史 — 从编解码器容错优化到云端决策系统

从2016开始，腾讯启动将传统的音视频解决方案逐步部署在腾讯云上，从传统的FFmpeg、OBS、RTMP开始提供了第一代直播服务。随后演进到以QUIC与HLS低延迟直播。最后在网络拥塞算法与Codec层面做进一步调优，进一步提升复杂场景下用户的QoE体验。本文根据腾讯视频云终端研发总经理常青在LiveVideoStack2019北京音视频技术大会上的分享整理而成。

文 / 常青

整理 / LiveVideoStack

大家好，我是腾讯视频云终端研发负责人常青，本次分享的主题和内容是关于腾讯音视频终端这些年来的进化演化以及在客户方面的实践应用，所以“进化”也是本次分享的主题词，说到进化大家可能首先联想到的是达尔文的进化论，因此我会先以一段故事来引出之后的内容。

达尔文在刚刚公布进化论的一段时间，在当时的社会引起了轩然大波，尤其是在“神创论”占据主流思想的情况下，很多名流都更愿意相信人是神创造出来的，并且举了很多反例来挑战达尔文。比如有人就提出：像人眼如此复杂的器官是如何进化出来呢？受限于当时人类的认知，达尔文本人也未必能够回答的清楚，但随着科技的进步以及科学的验证已经可以尝试的去解答这样的问题。

1. 简介

地球上生物的进化首先是由单细胞生物进化为多细胞生物，多细胞生物（浮游生物）在某些特定条件下发生基因突变形成感光细胞，可以在感应光线变化的同时驱动鞭毛避开海面周围的紫外线。感光细胞聚集成细胞群并形成凹陷，使得此时浮游生物不仅可以感受到光线强弱，甚至可以感受到光线的方向。之后凹陷越来越大，逐步加深形成带孔眼球，但成像效果并不好，此时的眼球已经可以通过空隙收缩完成“小孔成像”，但光线进入量有所减少。之后通过角膜覆盖和产生晶状体完成光线进入量和成像效果增加，逐步形成一个简单的生物版照相机。

2. LiteAVSDK技术演进之路

2.1 LiteAVSDK技术架构图

回到本次分享的主角LiteAV音视频框架，它是腾讯云线上音视频产品的总框架。称为LiteAV也是在开发之初对它的愿景，希望它能做到很轻、很小、很简单，而在四年的发展历程中，它也像我们刚才提到的眼睛一样，从一个小小的感光细胞开始，不断进化，最终形成了一个功能强大的音视频产品。。它的设计思路是采用统一的架构，包括统一的底层框架、一系列可复用的音视频模块和工作组，最后再加上网络协议就可以包装出一系列基础性的功能，包括直播的推流和拉流、小程序音视频方案、短视频、播放器以及融合音视频解决方案的TRTC都是基于这一整套的框架去实现，所以目前整个腾讯音视频的产品线都逐渐使用这套整体框架提供服务。

2.2 Step1：始于播放器，自研播放引擎

时间跳转到2016年，腾讯开始从传统的音视频解决方案转到云上的音视频解决方案。在开发初期，团队的立足点是最先解决播放问题，当时云上的客户推流大多采用OBS的解决方案，但在播放中被诟病最多的是播放卡顿和延迟不可控等问题，因此腾讯开始从这个角度思考如何去解决，在调研中我们发现绝大多数客户播放器的解决方案都是基于FFmpeg，FFmpeg的解码能力非常强，但在网络层设计之初是用于本地文件播放以及远程点播文件，缓存机制为“下载-积攒-播放”，由此产生了延迟不可控的问