视频质量评估的新方式：VMAF百分位数

正文字数：4964  阅读时长：7分钟

在这篇博客文章中，我们介绍了一种新的基于计算视频多方法评估融合(VMAF)百分位数的视觉质量评估方法。

作者 / Adeel Abbas

原文链接 / https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/introducing-vmaf-percentiles-for-video-quality-measurements.html

在Twitter上，我们希望通过即时加载的、不会意外停止且始终看起来清晰的视频为客户提供一个令人愉悦的视频体验。在这篇博客文章中，我们介绍了一种新的基于计算视频多方法评估融合(VMAF)百分位数的视觉质量评估方法。使用VMAF百分位数，我们可以推断出编码技术如何在某些复杂的帧上执行的情况，并允许我们首先专注于提高它们的质量。此外，VMAF百分位数对于非视频工程师来说更易懂，并且可以提供对于编码算法对视频质量影响的另一种理解。

每天，成千上万的人来到Twitter观看和了解正在发生的事情，并对塑造我们时代的事件有新的认识和新的视角。大量广告商依靠我们来传达他们的信息，这有助于他们发展业务。视频是这种体验的核心部分。我们希望通过让观看视频变得无缝和愉快的方式来实现公众对话。为此，我们在各种设备和平台之间包括质量、响应能力、互操作性之间取得适当的平衡来达到这一目标。还有其他需要重要考虑的因素，例如，可以随时在世界的任何地方可靠地提供视频服务，并确保我们满足客户的隐私期望和要求。

最近几个月，Twitter上的视频消费量出现了前所未有的增长。再加上移动设备每年再更新出有着越来越大、更好的屏幕的这一事实，这些都清楚表明，对视频压缩技术的投资对于我们的长期战略来说至关重要。诸如HEVC，AV1和VVC之类的下一代编解码器已展示出比H.264令人印象深刻的编码效率改进。我们认为，对于编解码器而言，在编码效率和计算复杂度之间取得平衡是很重要的，这样才能实现硬件解码能力。这样可以节省电池寿命，并允许CPU执行其他重要任务。考虑到所有可用的编码选项和折衷之后，投资一种可靠的视频质量评估方法变得尤为重要，该方法可帮助我们快速做出决策并且在理解上的障碍是很小的。

为此，峰值信噪比（PSNR）仍然是视频编解码器标准化的事实上的行业标准。但是，视频编码行业的研究人员非常清楚其局限性。例如，它没有考虑压缩伪像的时间特性，也没有考虑到存在摄像机噪声的情况下，PSNR的提高与主观质量无关的事实。

VMAF是由Netflix，南加州大学和德克萨斯大学奥斯汀分校联合开发的目标（objective）度量标准。VMAF始终显示出比PSNR或任何其他客观指标更接近人类视觉感知的数值。它是使用机器学习模型融合的几个时空度量的组合。VMAF分数更容易理解，因为它在0到100的线性范围内运行，而PSNR是对数的。它考虑了缩放和压缩伪像，此外，还具有针对移动视频消费进行训练的模型。

作为移动优先平台，Twitter十分关注向小屏幕大规模提供高质量视频的问题。在我们之前的博客文章中，我们介绍了一种新的目标视觉质量评估方法，称为自适应配对比较。自适应配对比较是为移动视频消费量而设计的，并且比行业标准的“平均意见得分”和“双刺激MOS”更可靠地测量视觉质量。作为下一步，此博客介绍了一种目标的视频质量评估方法，该方法可以计算序列中所有帧的VMAF分数的百分位数。该方法非常适合移动视频消费，我们使用它来优化实时编码阶梯。我们认为它是比Bjontegaard Delta（BD）速率方法的一种有价值的替代方法。

客户端使用自适应比特率流传输算法来选择可最大程度提高视频质量的变体，同时避免回放重新缓冲的变体。但是，我们还希望在自适应比特率算法选择的任何比特率下最大化感知质量。编码器的速率控制旨在保持所有帧的质量一致，在可能的时候节省比特，并在需要时限制比特率。如果我们不限制比特率，几乎所有帧都将获得近乎完美的VMAF分数。当我们限制比特率时，视频质量下降尤其明显。

如在VMAF GitHub上讨论的那样，通过在整个序列上求平均值来汇总帧的VMAF分数可能会隐藏难以编码的帧的影响（如果这些帧不经常出现）。合并帧的最佳方法是一个未解决的问题。例如，VMAF工具已经可以汇总谐波平均值并输出一个百分位数。在此博客的上下文中，在计算了序列的所有帧的VMAF分数之后，我们计算了第1个，第5个ÿ