Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning

Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning

本文提出了一种幻象引导质量回归网络来模拟人类视觉系统（HVS）的行为，利用畸变图像与幻象参考之间的感知差异信息，对HVS进行精确预测。如图2所示，首先从失真图像生成高分辨率场景幻象。然后，可以得到一幅自然编码畸变图像与幻象参考图像差异的差异图，指导回归网络的学习。通过引入强而清晰的差异信息，NR-IQA的不适性可以得到显著的克服。因此，即使使用普通的数据扩充，我们的方法也可以比所有传统的复杂方法获得更好的性能。

由于幻象参考的结果对最终预测至关重要，不良的幻象会引入较大的偏差，从而导致回归结果进入次优值。我们提出从低到高的两种机制来解决这一问题：（1）我们将敌对学习思想引入到幻象参考生成和质量预测中，并采用一种新的IQA鉴别器，一方面，鼓励产生的幻象场景在感知上难以与真实参考图像区分，另一方面，在低层语义下，约束不良幻象对质量回归网络的影响。（2） 提出了一种新的高级语义融合机制，进一步降低了由幻象模型引起的质量回归网络的不稳定性。探讨了幻象网络内隐式的排序关系，作为指导，帮助回归网络自适应地调整图像质量预测态度。那个质量感知生成网络、幻象引导质量回归网络和iqa鉴别器可以以端到端的方式联合优化。

在四个IQA常见的数据集上进行了实验LIVE，CSIQ，TID2008，and TID2013，图像大小为256*256，在实验时对其随机采样32的patch进行训练，实验结果如下表：

我们还列出了上述实验中使用地面真实参考的结果作为理论界，称为“ours+oracle”，以进一步验证所提出的对NRIQA的幻象参考的有效性和潜力。oracle在所有数据集中的性能都优于所有的方法。这些结果证明了幻象信息的有效性，并且如果能够很好地生成幻象信息，则显示出巨大的潜在性能增益。

Ours：

Ours+Oracle:

生成网络 采用 stacked hourglass 网络

前半部分惩罚幻觉图像与真实参考图像的像素差异，比如MSE，其可以测量图像间的整体内容；后半部分惩罚幻觉图像与真实图像的感知差异，这里采用特征空间的损失作为感知约束。

辨别网络

当回归网络预测出来的分数与真实质量分数的差距大于阈值时，幻觉图像降低了回归网络的性能，d(fake)为0，带入损失函数，此时为使损失函数取得最大值，需要辨别器将生成图像辨别为0，将真实图像辨别为1，当回归网络预测出来得分数与真实质量分数得差距小于阈值时，幻觉图像提升了回归网络的性能，d(fake)为1，带入损失函数，此时为使损失函数取得最小值，需要辨别器将生成图像和真实图像均辨别为1。

在生成对抗网络中，生成器的目的是通过产生对回归网络有提升作用的图像来欺骗辨别器，因此在GAN中生成网络的损失函数为

综合生成网络本身的损失函数，得到最终生成网络的损失函数：

回归网络

BaseLine: Res-18
差异图：将失真图像和差异图作为输入进行回归网络的训练，公式如下：

高阶语义融合：生成图像对回归网络有十分重要的作用，因此将生成网络中的编码块部分和回归网络的最后部分进行concat，再对融合部分进行最后的全连接产生质量分数。，公式如下：防止生成无意义的伪参考图影响R质量回归

Ablation study的结果如下图：BL是基准的IQA网络，HCM是增加幻想图部分，QSL为在基础上增加了特征级别的loss，ADV增加了对抗学习的部分，HSF就是增加了特征融合部分，所有根据下图来看幻象图和对抗学习的增加效果明显