导读:阿里云视频云直播转码每天都会处理大量的不同场景、不同编码格式的直播流。为了保证高画质,团队借助 VMAF 标准来对每路转码的效果做质量评估,然后进行反馈、调优、迭代。这么做的原因在于,像动作片、纪录片、动画片、体育赛事这些场景,影响画质的因素各不相同,基于 VMAF 的视频质量反馈机制,可以在保证画质的前提下,对不同的场景做针对性优化,达到画质最优、成本最低的效果。
作者:杨洋,阿里云技术专家 从事直播相关媒体处理引擎开发背景
图像质量的衡量是个老问题,对此人们提出过很多简单可行的解决方案。例如均方误差(Mean-squared-error,MSE)、峰值信噪比(Peak-signal-to-noise-ratio,PSNR)以及结构相似性指数(Structural Similarity Index,SSIM),这些指标最初都是被用于衡量图像质量的,随后被扩展到视频领域。 这些指标通常会用在循环用在编码内部, 可用于对编码决策进行优化并估算最终编码后视频的质量。但是由于这些算法衡量标准单一,缺乏对画面前后序列的总体评估,导致计算的结果很多情况下与主观感受并不相符。视频质量
阿里云视频云每天都会生产、处理大量来自不同应用场景、不同编码类型的视频数据。除了采用窄带高清等技术以外,我们还会借助 VMAF 标准对处理后的视频做质量评估,形成 媒体生产-->画质评估-->编码优化-->产品迭代 的技术闭环。基于这套反馈机制,对不同的场景做针对性优化,达到画质最优、成本最低的效果。VMAF 介绍
面对不同特征的源内容、失真类型,以及扭曲程度,每个基本指标都各有优劣,缺少一个通用的、能反应主观意识的画质评估手段。VMAF (Video Multimethod Assessment Fusion) 由 Netflix 开发并开源,利用大量的主观数据作为训练集,通过机器学习的手段将不同评估维度的算法进行“融合”,得到一个能准确反映主观意志的画质评价标准。 VMAF 主要包括3种指标:visual quality fidelity(VIF)、detail loss measure(DLM)、temporal information(TI)。其中 VIF 和 DLM 是空间域的也即一帧画面之内的特征,TI 是时间域的也即多帧画面之间相关性的特征。这些特性之间融合计算总分的过程使用了训练好的 SVM 来预测。 工作流程如图:![2ccf890af357ef8f49a7eaf00d015704.png](https://i-blog.csdnimg.cn/blog_migrate/ce2bd786756ae177f468ee54ec53536c.png)
VMAF 模型分析
VMAF 默认提供了 vmaf_float_v0.6.1.pkl 模型,可以分为 HDTV、Phone、4K 超分辨率三种使用模式,满足不同播放场景下的画质评测需求。