图像质量评估

图像质量评估（IQA） 是衡量图像视觉质量的过程，旨在判断一幅图像的清晰度、噪声程度、失真等因素。IQA可以分为有参考和无参考两种方式。有参考IQA是通过与高质量的参考图像进行比较来评估目标图像质量，而无参考IQA则无需参考图像，直接分析单个图像的质量，应用广泛且挑战较大。

在无参考图像质量评估（NR-IQA）方面，Compare2Score 引入了一种创新方法，基于大型多模态模型（LMMs）实现了图像的定性比较与连续质量评分。其核心技术包括：

1. 比较级别转化：将离散的图像质量比较结果转换为连续的质量评分。
2. 大规模训练语料库：通过比较同一IQA数据集中的图像生成比较指令，以便更灵活地整合不同的IQA数据。
3. 软比较方法：在推断过程中，通过与锚定图像进行比较，使用最大后验估计优化质量分数，得出概率矩阵。

该方法的意义在于：

1. 它提高了现有无参考IQA模型的准确性和通用性。
2. 为零样本学习提供了新的思路，使模型在没有大量数据的情况下也能有效推断图像质量。
3. 实现了类似人类的视觉质量比较，能够广泛应用于图像处理、压缩、传输等领域。

论文作者：Hanwei Zhu,Haoning Wu,Yixuan Li,Zicheng Zhang,Baoliang Chen,Lingyu Zhu,Yuming Fang,Guangtao Zhai,Weisi Lin,Shiqi Wang

作者单位：City University of Hong Kong; Nanyang Technological University; Shanghai Jiao Tong University; Jiangxi University of Finance and Economics

论文链接：http://arxiv.org/abs/2405.19298v1

内容简介：

1）方向：图像质量评估

2）应用：无参考图像质量评估

3）背景：最近大型多模态模型(LMMs)在绝对质量评分的图像质量评估(IQA)方面取得了显著进展，但如何将可靠的相对质量比较输出转化为连续的感知质量分数仍然未被充分探索。

4）方法：本文引入Compare2Score，一个基于全方位LMM的无参考图像质量评估(NR-IQA)模型，能够产生定性的比较响应，并有效地将这些离散的比较级别转化为连续的质量分数。在训练过程中，通过比较同一IQA数据集中的图像生成放大的比较指令，以便更灵活地整合不同的IQA数据集。利用建立的大规模训练语料库，开发了一个类似人类的视觉质量比较器。在推断过程中，提出了一种软比较方法，计算测试图像相对于多个预定义锚定图像被偏好的可能性，通过最大后验估计优化质量分数，得到概率矩阵。

5）结果：在九个IQA数据集上进行的大量实验验证了Compare2Score在训练过程中有效地连接了文本定义的比较级别，并将其转化为推断中的单个图像质量分数，超越了各种场景下的最先进IQA模型。此外，验证了基于概率矩阵的推断转换不仅提高了Compare2Score的评分准确性，还改进了零样本通用LMMs，表明其固有有效性。