论文《Exploring CLIP for Assessing the Look and Feel of Images》阅读

论文概述

今天带来的是论文《Exploring CLIP for Assessing the Look and Feel of Images》，论文主要通过 CLIP 模型来完成图像的质量（how it looks，即quality perception）和情感（how it feels， 即abstract perception）评分。

论文由南洋理工S-Lab完成，论文内容相对简单。整体来讲就是在 vision-language 跨模态大模型训练的时候将原始的prompt改为形容词及其反义词的二元组prompt，以减小表达中的歧义。

论文发表在AAAI 2023上，模型取名为CLIP-IQA。

Preliminary

下面介绍一下一些基本术语：
IQA: Image Quality Assessment 图像质量评价
CLIP：a Vision-Language Pre-Training SOTA model，主要完成跨模态对齐（Cross-modal Alignment, CMA）

方法论

本文主要聚焦于IQA中关于look和feel的评价，其实也就是客观质量评价和主观质量评价，分别（1）关注图片质量（look）如何（粗粒度讲分为“好”/“不好”；细粒度讲包括“噪声”、“明亮度”、“对比度”、“色彩”等（非CV方向，可能翻译不太准））；（2）关注图像内容蕴含的抽象感受（例如“恐怖”、“自然”、“快乐”、“复杂”等）。

随着大模型的火热，现阶段主要基于CLIP完成跨模态语义对齐，分别通过NLP token 和 CV images 的 描述，将图像和文本语义在空间中的描述进行统一，最终完成语义的挖掘。

作者认为当前主要问题是文本和图像可能存在偏差，具体而言就是文本描述存在歧义，使得无法真正做到文本和图像的一一对应。

作者怎么做的呢？其实就是把原来的文本换成二元组，加上文本描述的反义词，通过反义词从而消除文本的歧义，分别和图像生成的embedding做相似性比较，然后两个相似性分数通过softmax，得到最终的分类预测分数。即，

$$s=\frac{\mathbf{x}\odot \mathbf{t}}{\Vert \mathbf{x}\Vert \cdot \Vert \mathbf{t}\Vert }.\text{\hspace{1em}(1)}$$

将原来CLIP中的对比学习求相似度部分改为下面：

s i = x ⊙ t i ∥ x ∥ ⋅ ∥ t i ∥ , i ∈ { 1 , 2 } (2) s_i=\frac{\boldsymbol{x} \odot \boldsymbol{t}_i}{\|\boldsymbol{x}\| \cdot\left\|\boldsymbol{t}_i\right\|}, \quad i \in\{1,2\} \tag{2} si​=∥x∥⋅∥ti​∥x⊙ti​​,i∈{1,2}(2)

$$\bar{s}=\frac{e^{s_1}}{e^{s_1}+e^{s_2}}.\text{\hspace{1em}(3)}$$

这里，我们附上CLIP的大概原理图：

另外，在上面的基础上，作者提出对于CLIP中的图像编码器来讲，针对于质量评价任务，positional embedding是多余的。例如，对于分辨率评价来讲，如果对图片进行裁剪，就无法判断原图的分辨率是否达到要求（这里作者讲的模型是ResNet-50-based CLIP，不知道是不是笔误，不应该是ViT-based CLIP吗？ResNet 有设计到 positional embedding的部分吗？不都是直接卷积移动吗？了解不深，欢迎评论区讨论）。

作者对 image encoder 采用了ResNet variant（具体是何变种没有提及），取消了positional embedding 的设计。

Experiments

可以看到，CLIP-IQA 在 无精调情况下，表现基本持平或小幅度劣于BRISQUE。这里的最好表现的baseline BRISUQE（2012），不知道这个BRISQUE属不属于SOTA方法。

在有精调的情况下，CLIP-IQA不那么好。

结论

本文创新性可能略低，同时实验部分表现好像也不那么好。在实验部分的结果展示中，使用了太多的可视化展示，而没有具体的数字呈现，总给人一种遮遮掩掩的感觉。甚至还加了一个人工识别（25个人）与模型结果的比较部分，挺迷的。