VMAF：视频质量的多方法融合评价（原理+使用方法）

背景

为了在互联网进行视频传输，视频源需要通过标准化的格式进行压缩，例如H.264/AVC、H.265HEVC以及VP9、AV1等等。如果视频过度压缩或压缩参数不当，将导致画面质量受损，也就是很多人常说的压缩失真，例如“块效应（Blocking）”、“振铃效应（Ringing）”或“蚊式噪声（Mosquito noise）”。对于普通观众来说，视频观赏体验极差。

视频质量评价指标现状

为了在互联网进行视频传输，视频源需要通过标准化的格式进行压缩，例如H.264/AVC、H.265HEVC以及VP9、AV1等等。如果视频过度压缩或压缩参数不当，将导致画面质量受损，也就是很多人常说的压缩失真，例如“块效应（Blocking）”、“振铃效应（Ringing）”或“蚊式噪声（Mosquito noise）”。对于普通观众来说，视频观赏体验极差。

针对不同网络带宽下使用各种设备的用户提供尽可能优质的视频观赏质量，就需要对视频质量进行主客观评价。视频质量的衡量是一个经典问题，为了平衡视频主客观质量与编码码率，大量学者曾引入过很多简单可行的解决方案，例如:均方误差（Mean-squared-error，MSE）、峰值信噪比（Peak-signal-to-noise-ratio，PSNR）、结构相似性指数（Structural Similarity Index，SSIM）以及MS-SSIM。但是这些指标的出现都是基于图像质量评价的，作为基础的算法研究，PSNR可能已经可以满足要求，但是在实际应用中，PSNR无法准确的反映出用户观看视频的主观体验。另一方面，过去使用的这些质量指标并未充分考虑到不同类型的源内容，例如，很多现有数据库中缺乏动漫内容，大部分数据库并未考虑胶片颗粒，而在专业娱乐内容中这些都是非常普遍的信号特征。简单总结来说就是，传统指标不适合视频内容质量的评估。
另外，PSNR和SSIM三大直接的问题：
1、它只能衡量其与原图的差异也即相对质量，不能计算绝对质量
2、孤立地计算每一帧，无法利用视频中相邻帧的相关性和运动信息
3、PSNR/SSIM值的计算方法过于straight-forward，结果跟人眼的主观感受并不总能匹配

为了解决这一问题，Netflix提出了一种基于机器学习的模型设计能真实反映人对视频质量感知情况的指标。下一节进行详细介绍。

Video Multimethod Assessment Fusion（VMAF）

面对不同特征的视频源、编码失真以及失真程度，每个衡量指标各有优劣，Netflix通过使用机器学习算法（（Support Vector Machine，SVM）回归因子）将基本的指标“融合”为一个最终指标，然后为每个指标分配一定的权重，这样就可以保留每个基本指标的评价优势，最终得到更精确的分数，这就是VMAF（Video Multimethod Assessment Fusion）。

Netflix在制定VMAF过程中，制定了丰富的NFLX视频数据集，视频源包含具备各种高级特征high-level feature（动漫、室内/室外、镜头摇移、面部拉近、人物、水面、显著的物体、多个物体）以及各种底层特性low-level characteristics（胶片噪声、亮度、对比度、材质、活动、颜色变化、色泽浓郁度、锐度）。然后将这些源短片编码为H.264/AVC格式的视频流，分辨率介于384x288到1920x1080之间，码率介于375kbps到20,000kbps之间，最终获得了大约300个畸变（Distorted）视频。这些视频涵盖了很大范围的视频码率和分辨率，保证了数据的多样性。另外，还使用NFLX视频数据集的主观实验中获得的意见分数对机器学习的模型进行训练和测试，从而保证了VMAF分数的准确性。

以上为VMAF原理图。

VMAF融合了以下基本指标：
1.视觉信息保真度（Visual Information Fidelity，VIF）
VIF是一种获得广泛使用的图像质量指标，该指标基于这样一种前提：质量与衡量信息保真度丢失情况的措施是互补的。在最初的形式中，VIF分数是通过将四个尺度（Scale）下保真度的丢失情况结合在一起衡量的。在VMAF中，使用了一种改进版的VIF，将每个尺度下保真度的丢失看作一种基本指标。
2.细节丢失指标（Detail Loss Metric，DLM）
DLM是一种图像质量指标，其基本原理在于：分别衡量可能影响到内容可见性的细节丢失情况，以及可能分散观众注意力的不必要损失。（描述失真的两个指标）这个指标最初会将DLM和Additive Impairment Measure（AIM）结合在一起算出最终分数。在VMAF中，只使用DLM作为基本指标，但也对一些特殊情况采取了必要的措施，例如会导致原始公式中的数值计算失效的黑帧。VIF和DLM都是衡量图片质量的指标。考虑到视频的时域特性（Temporal characteristic），我们还进一步引入了下列这些特性：
3. 运动量
运动信息对视频编码码率的影响至关重要，这是一种衡量相邻帧之间时域差分的有效措施,计算像素亮度分量的均值反差即可得到该值。

下载和使用

可以点击VMAF下载源码。Windows下，编译比较麻烦的话，可以直接下载Windows可执行工程，在命令行运行即可，具体地，直接使用-h命令查看指引。该工程不仅可以计算VMAF，还可以计算PSNR，SSIM和MS-SSIM指标。有一个英文版使用教程可供参考。