图像质量评价与大模型——Q系列（1）Q-BENCH

《Q-BENCH: A BENCHMARK FOR GENERAL-PURPOSE FOUNDATION MODELS ON LOW-LEVEL VISION》

ICLR2024，arxiv2023.09

通用大模型在其他领域的卓越能力已被证明的情况下，MLLMs对于low-level的视觉感知和理解能力如何呢？本研究首次验证了MLLMs在图像质量评价领域应用的能力,也为后面作者的Q系列奠定了坚实的基础。通过Q-bench，Q-intstruct，再到强大的Q-Align，Haoning Wu循序渐进地构建了图像质量评价领域的MLLM。

0 摘要：

1. bench通过三个方面评估MLLMs的low-level视觉感知能力：low-level visual perception、low-level visual description 和overall visual quality assessment。对于low-level perception：建立了LLVisionQA数据集，包含2990张不同源的图像，每张图像配备了关注low-level特性的0人工问题。对于low-level description：提出了LLDescribe数据集，包含对于499张图像的long expert-labelled golden low-level text descriptions。对于visual quality：则是和传统给图像质量评价一样的图像人类得分数据集，这里尤为关键的是提出了一个基于soft-max的策略，使得MLLM可以预测出可量化的分数。虽然仅仅是一个简单的softmax，但就是通过这个策略，衍生出来了Q-Align。

1 介绍：

Low-level的视觉能力对图像质量评价尤为重要，因为它与感知视觉的失真（例如模糊和噪声），其他的图像底层特性（例如颜色、亮度、风格等），以及图像的美学特性和情绪等十分相关。作者提出了关于benchmark的一个关键问题：

How do MLLMs emulate human ability related to low-level visual perception and understanding?

答案很简单，是language。