图片/视频等效果质量评测指标

一、背景：

在视频剪辑软件中，除了剪辑基础能力以外，还会经常遇到要对图片/视频效果测评的场景，例如新加了一种抠图/抠头特效，或者由一种滤镜效果由A替换成了B；对于这种效果上的验证，由于没有统一或者客观的标准，所以需求再保证功能没有问题后，效果由产品/运营同学来验收。但这种通过人眼观察得出的主观评价，往往带有个人偏好合以及受到环境等因素的影响。如果可以根据人眼视觉系统的特性来建立图片/视频的评测指标，这样就可以根据实际情况给出客观的数据，不再收到个人偏好或者环境等因素的影响了。

二、目标收益：

1、整体目标收益

1）客观评价图片/视频效果类等相关需求的结果，根据实际情况给出客观评价指标，为需求上线提供参考标准。

2）图片/视频客观评价指标体系除了在必剪应用中使用，可以应用在所有需要对图片/视频进行评测的场景：譬如超分、去噪、插帧、色彩增强等视频处理领域；以及SDR/HDR效果、视频编解码算法研究等视频编码领域；

3）图片/视频质量评测指标后续规划讲针对不同的领域/人群的视觉特性来生成训练数据集，通过训练数据集，给到更专业的评价参考标准。

2、未来可解决的场景：

1）AI工具（智能生图、智能生成视频等）的测评

2）HDR编码效果的测评（例如 HDR效果VS成本、设备）

3）……

三、解决方案

1、全参考图像评测体系：

全参考的客观评价指标（图像质量客观评价指标）

PSNR、SSIM、RMSE、NRMSE、ENTROP、IEF、UQI

1）PSNR：峰值信噪比

PSNR值越大，表示图像的质量越好，一般来说：

（1）高于40dB：说明图像质量极好(即非常接近原始图像)

（2）30—40dB：通常表示图像质量是好的(即失真可以察觉但可以接受)

（3）20—30dB：说明图像质量差

（4）低于20dB：图像质量不可接受

2）SSIM：结构相似性指标（是一种用以衡量两张数位影像相似程度的指标。

当两张影像其中一张为无失真影像，另一张为失真后的影像，二者的结构相似性可以看成是失真影像的影像品质衡量指标。相较于传统所使用的影像品质衡量指标，像是峰值信噪比（PSNR），结构相似性在影像品质的衡量上更能符合人眼对影像品质的判断。

SSIM值越大，图像质量越好

5）MSE：均方误差(Mean Square Error)反映的是变量间的差异程度，是一种基于像素误差的图像质量客观评价指标，用于衡量融合图像和理想参考图像之间的差异，MSE越小，表示融合图像质量越好。

6）NRMSE：归一化均方根误差（normalized root mean square error）就是将RMSE的值变成(0,1)之间

7）ENTROPY：信息熵主要是度量图像包含信息量大小的一个客观评价指标，信息熵越高表示融合图像的信息量越丰富，质量越好。

3）Image Enhancement Factor (IEF)图像增强因子

IEF值越大，图像质量越好

4） Universal Quality Index (UQI)通用质量指标

UQI值越大，图像质量越好

测试数据：

参考图像：

1	参考图像	噪声图像1	模糊图像2
X

数据如下：

	参考图像	噪声图片	模糊图片	备注
PSNR	361.20	22.91	33.36
SSIM	1.0	0.39	0.86
MSE	-	18.22	5.47
NRMSE	-	0.19	0.05
ENTROPY	7.38	7.50	7.35

2、无参考训练测评体系

2、无参考的训练模型：

基于机器学习的全参考视频/图像质量评估算法

1）VMAF

干货 | VMAF视频质量评估在视频云转码中的应用 - 风纳云

基于深度学习的全参考视频/图像质量评估算法

在整个视频链路中，我们可以量化大部分模块，如采集，上传，预处理，转码，分发。我们最未知的却恰恰是最关键的部分，即用户的视频观看体验。DVQA适用于在源参考视频可用的场景下，精确衡量视频内容的人眼感知质量。

1）DVQA

视频质量评估算法 DVQA 正式开源 - 程序员大本营

2）AVQT

Video Quality Experts Group (VQEG)

WWDC 21 - 使用 AVQT 评估视频质量-腾讯云开发者社区-腾讯云

1	参考图像	噪声图像1	模糊图像2
X