视频质量评测标准——VMAF

阿里云视频云直播转码每天都会处理大量的不同场景、不同编码格式的直播流。为了保证高画质，团队借助VMAF标准来对每路转码的效果做质量评估，然后进行反馈、调优、迭代。这么做的原因在于，像动作片、纪录片、动画片、体育赛事这些场景，影响画质的因素各不相同，基于VMAF的视频质量反馈机制，可以在保证画质的前提下，对不同的场景做针对性优化，达到画质最优、成本最低的效果。本文由阿里云视频云高级开发工程师杨洋撰写，旨在分享VMAF的核心模块与技术实践。

背景

图像质量的衡量是个老问题，对此人们提出过很多简单可行的解决方案。例如均方误差（Mean-squared-error，MSE）、峰值信噪比（Peak-signal-to-noise-ratio，PSNR）以及结构相似性指数（Structural Similarity Index，SSIM），这些指标最初都是被用于衡量图像质量的，随后被扩展到视频领域。这些指标通常会用在编码器（“循环”）内部，可用于对编码决策进行优化并估算最终编码后视频的质量。但是由于这些算法衡量标准单一，缺乏对画面前后序列的总体评估，导致计算的结果很多情况下与主观感受并不相符。

VMAF 介绍

VMAF(Video Multimethod Assessment Fusion)由Netflix开发并开源在Github上，基本想法在于，面对不同特征的源内容、失真类型，以及扭曲程度，每个基本指标各有优劣。通过使用机器学习算法(SVM)将基本指标“融合”为一个最终指标，可以为每个基本指标分配一定的权重，这样最终得到的指标就可以保留每个基本指标的所有优势，借此可得出更精确的最终分数。Netfix使用主观实验中获得的意见分数对这个机器学习模型进行训练和测试。VMAF主要使用了3种指标：visual quality fidelity（VIF）、detail loss measure（DLM）、temporal information（TI）。其中VIF和DLM是空间域的也即一帧画面之内的特征，TI是时间域的也即多帧画面之间相关性的特征。这些特性之间融合计算总分的过程使用了训练好的SVM来预测。工作流程如图：