图像质量评估|调研

介绍

作为视觉生物，人类对视觉信号损耗(例如块状，模糊，嘈杂和传输损耗)敏感。因此，我将研究重点放在发现图像质量如何影响Web应用程序中的用户行为上。最近，一些研究测试了低质量图像在网站上的影响。康奈尔大学[^4]证明了低质量的图像会对用户体验，网站转换率，人们在网站上停留多长时间以及信任/信誉产生负面影响。他们使用由LetGo.com提供的公开数据集训练的深度神经网络模型。目的是衡量图像质量对销售和感知到的信任度的影响，但是他们无法衡量图像质量对可信赖性的影响。

图像失真

最常见的图像失真是白噪声(WN)，高斯模糊(GB)，JPEG压缩和JP2K压缩。例如，晚上在用手机拍摄照片时，可能会引起白噪声失真；如果在拍摄前未正确聚焦，则可能导致高斯模糊。

文献回顾

图像质量评估(IQA)方法主要分为两类：(1)参考(reference)和(2)无参考(reference-less or blind)。参考的算法需要原始(参考认为是高质量的)和失真的图像计算质量分数。基于参考的算法已广泛用于衡量在应用诸如图像压缩，图像传输或图像拼接之类的处理后图像的质量。例如，在图像压缩方面需要权衡取舍；压缩率越高，可感知的图像质量越低。作为另一个示例，拥有一种自动测量图像质量的方法可以帮助公司定义最佳压缩参数，以在不影响用户体验的情况下最大化加载速度。另一方面，无参考侧重于无法访问原始图像的过程。

最初，无参考的IQA算法特定于失真。因此，为了计算图像质量分数，需要在计算之前确定失真类型。因此，需要两个模型，(1)一个预测失真类型的模型，以及(2)给定失真类型的一个预测质量分数的模型。这些方法的整体性能要低得多，并且研究工作继续朝着通用方法发展。

几位研究人员发现，自然图像统计(NSS)以及诸如小波和离散余弦变换(DCT)域之类的变换是评估图像失真程度的有力鉴别器。这些方法一直占据主导地位，直到被基于特征学习的新算法所取代。如果有足够的数据，这些算法将超越基于手工(hand-crafted)特征的算法的性能。主要缺点是参数数量激增，增加了缺乏泛化能力的风险。

问题描述

图像质量评估(IQA)与其他图像应用不同。与分类，目标检测或分割相反，IQA数据集的收集是复杂且费时的。因此，大型数据集的创建是昂贵的，因为它需要负责确保方法正确执行的专家的监督。另一个限制是，由于不得修改参考图像的像素结构，因此无法使用数据增强。

方法

大多数最新算法都专注于特征学习。如前所述，这些方法的主要局限性在于广泛数据集泛化的必要性。但是，最新的方法侧重于混合方法，该方法第一步是自动学习hi质量相关(quality-aware)特征 ，其次将这些特征与质量分数相关联。

本节的目的是介绍三种与以前的方法相比具有出色性能的完全不同的方法。第一种方法基于经过训练以学习objective error map的深度神经网络。第二种方法引入了多个伪参考图像(MPRI)的概念，并通过高阶统计量汇总来提取特征；第三种方法则利用了无监督的kMeans聚类来创建图像质量特征码本(characteristics codebo