细粒度视觉质量评价：回顾和思考

 点击上方“LiveVideoStack”关注我们

▲扫描图中二维码或点击阅读原文▲
了解音视频技术大会更多信息

  //  

编者按：面向人眼感知的质量评价在许多视频图像处理算法和系统中发挥十分重要的作用。近年来学术界已经提出了许多质量评价方法，在已有数据集上取得了很高的性能，但是他们在实际应用中的表现仍然无法让用户满意，以至于无法得到广泛应用。LiveVideoStackCon 2022上海站大会我们邀请到了中国科学院大学副教授 张新峰老师，为我们详细分享了视觉质量评价的背景与问题以及细粒度视觉质量评价方法的发展与挑战。

文/张新峰

整理/LiveVideoStack

大家好，很高兴有机会跟各位同行一起分享我们在质量评价领域的一些想法。我接触视频质量评价领域已经有几年时间，在博士和博士后期间，我主要是做视频编解码，做视频编解码的朋友可能知道我们有一个方向叫Perceptual Coding，也就是面向人眼视觉的编码，希望在相同的码率下得到更高的主观视觉质量。我们想要得到更好的主观质量，就需要有一个很好的质量评价方法。也是基于这个目的，我开始学习和研究一些更好的面向人眼视觉的质量评价方法，进入到视觉质量评价这个领域。

01 回顾：视觉质量评价的背景

本次分享内容主要从以下三个方面展开：首先是回顾，介绍下目前面向视觉信号的质量评价的背景、意义以及目的；然后介绍下视觉质量评价目前存在的一些问题以及我们对该领域问题的一些思考；最后介绍下目前我们的一些工作，对我们提出的细粒度视觉质量评价问题的研究进行些展望。

首先，我们看一下视觉质量评价的目标。视觉质量评价就是希望我们给出图像、视频或者更广义的视觉信息，如光场图像、全息图像等的质量高低的评价。传统使用比较多的是基于信号的评价方法，对于图像来说它的信号就是像素，这种基于像素的质量表示例如PSNR，或者其对应的失真度量就是MSE（均方误差）。它和人眼的感知质量之间是有明显差异的。

这里我放了一个对比的图像，大家也可以很清楚的看到，左上是原始图像，没有任何失真，所以它的MSE是0。我们可以用各种方式对图像进行处理，让它的失真达到相同的均方误差，也就对应相同的PSNR。比如说第一个，可以调节一下对比度，第二个做均衡化。第三个（第2行第1个）进行JPEG压缩，后边两幅可以通过模糊和加噪声，使他们的均方误差可以都接近225。但是人眼看起来，它们的主观质量差异是非常明显的，这个例子充分证明这种基于像素的PSNR的度量是不能准确反映人眼的感知质量的，甚至与人眼的感知差异是非常大的。因此，我们希望在这个领域研究一种比较好的方法，能够跟人眼感知的主观质量更一致，这就是图像视觉质量评价的目标。

视觉质量评价无论是在流媒体，还是涉及到图像视频的各种算法中都非常重要。众所周知，目前互联网上大量的图像视频要送到用户端必须经过压缩的过程，有损压缩不可避免的要引入失真。我们需要质量评价方法监测图像或者视频，用户端感受的质量是多少，如果质量特别差的话，我们就需要适当提高码率保证良好的用户体验。

除此之外，我们设计的各种图像或视频处理算法，比如增强，图像复原、去噪，需要有一个质量评价的标准衡量。以图像去噪为例，我们每提出一个新的去噪方法都要展示其性能，需要呈现去噪之后图像的质量，经典的衡量指标就是PSNR，也会借鉴部分质量评价领域的新指标，比如SSIM。但实际上，其它很多质量评价方法很少被用到。由于缺少令人信服的质量评价方法，往往就只能贴出图片来比较。由此可见，无论是在流媒体的传输应用还是图像、视频的算法设计上，我们都急需比较好的、与人眼感知质量更接近的质量评价算法，所以视觉质量评价具有非常重要的价值。

视觉质量评价方法可以分成两类，主观质量评价和客观质量评价，我们通常认为第一类是最准确的一种。国际标准化组织对于主观质量测试方法也给出了很多详细的规定，比如测试过程，观测距离等。这种方式对于评测环境的要求相对苛刻，而且需要很多人给图像打分，人力成本和时间成本都很高。还有最重要的一点是主观质量评价方法不能用于算法优化。所以主观质量评价方法在实际中很难应用。因此，视觉质量评价主要是研究客观质量评价的方法，希望能用数学的方式来建模人眼视觉对图像/视频信号的感知质量。

从是否有参考图像/视频的角度，我们可以将客观质量评价方法分为有参考质量评价方法和无参考质量评价方法。有参考质量评价方法是指在评价质量的时候，有无失真的图