自适应流媒体智能传输优化研究

  //  

编者按：在视频流量爆发式增长的当下，面对多用户多场景的网络挑战，如何降低卡顿、提升用户体验是流媒体传输研究的关键。LiveVideoStackCon 2023上海站邀请到了清华大学博士黄天驰，为大家分享自适应流媒体智能传输优化研究进展。

文/黄天驰

编辑/LiveVideoStack

大家好，我今天分享的主题是自适应流媒体智能传输优化研究。

让我简单介绍一下我自己：我叫黄天驰，刚从清华大学获得博士学位，我的导师是孙立峰教授。我的研究方向是智能流媒体传输。我一共发表了17篇一作论文，其中有8篇是CCF-A类论文。我还有一些荣誉，比如获得过NOSSDAV 2019最佳学生论文奖。我的研究成果也被应用在一些一线企业，比如快手和华为。

首先介绍一下自适应流媒体的研究背景。根据2023年全球互联网现象报告，视频流量已经占互联网流量的65%，较2021年进一步提升24%。总体来说，目前视频流量呈爆发式增长。其中，由于真实网络情况变化频繁以及日渐丰富的视频内容，超过40.24%的流量采用自适应视频流（Adaptive Streaming）传输，在客户端上利用自适应码率算法（ABR）调节视频块。

这里简单介绍一下这个技术的架构图，以点播模式为例。

一段视频将通过指定的码率阶梯预编码为不同码率，代表高清，低情，原画等画面品质的视频块，每个视频块时长在4秒左右。随后这些视频块将通过CDN进行分发，用户将在用户端通过码率自适应算法，也就是ABR来观看这段视频。

ABR到底在决策什么呢？从端侧来讲，码率自适应算法将结合当前播放器的缓冲大小与可用带宽，共同决策下一个视频块的码率。

那么ABR的目标是什么呢？其目标旨在获取更高的用户体验（我们这里叫做quality of experience, QoE），一般指的是高视频码率，低卡顿（或者叫重缓冲）时长，同时码率避免频繁切换。

现有的算法普遍被称为启发式ABR算法。传统的启发式算法主要有基于带宽预测的，基于缓冲的以及基于建模的ABR算法。其本质上都是在完成一个建模，或者几个指标上卡阈值，设超参以达到线上的效果。当然，这也造成了一定的缺点。这些方案过度依赖精确的网络预测、精准的网络建模与精心的调参，导致其可能在一种网络情况下好，但是在其他的网络下表现不佳。

因此，学术界开始研究智能ABR算法，利用深度学习、无需手工设计，直接从数据中预测或泛化策略的特性去帮助或生成ABR策略。

智能ABR算法主要分为两种方法，一种是基于深度学习预测未来带宽，然后辅助建模决策码率；另一种则是基于深度强化学习，从零训练一个神经网络，在不依赖先验建模以及知识的情况下做出决策。不可否认的是，智能ABR算法大幅度提升了ABR算法性能。

以Pensieve算法为例，解释其原理如下：ABR智能体可以看作是一个神经网络，接收过去的视频带宽、播放器码率选择和当前缓冲等作为输入。输出部分是对下一个视频块的码率档位进行决策。最后，通过对码率、卡顿和平滑度进行线性加权，得到回报，目标是提高回报分值。Pensieve采用了现代的“深度”强化学习建模方法，通过经验自动学习智能ABR算法。

以该算法在实验室环境下的性能为例，与启发式算法相比，它至少能在用户体验上提升18%。但是，要将它部署到真实系统需要花费很大的精力，需要由右图中的三个组件组成，服务端，用户端，数据分析端。具体流程如下。首先，在服务端完成智能ABR算法的训练。然后，把训练完的神经网络模型下发至用户端，用户端则基于模型根据不同网络做决策，接着把决策数据信息上报到数据分析端，在数据分析段完成数据的整合归纳，再把数据交由服务端完成下一轮的迭代更新。

因此，智能ABR算法也需要依托闭环的训练与部署系统，有效利用信息持续优化性能。我研究的内容就是智能自适应流媒体技术大规模实际部署面临的系统级优化。