本博文介绍下2018年的AAAI一篇图像质量评价文章。
本篇论文和CVPR的一篇文章原理十分类似,要了解上篇请参考Hallucinated-IQA
算法原理
对于失真图像,采用生成对抗网络来生成恢复图像,将失真图像和恢复图像一起输入到评价网络中,最终生成质量分数。
算法详解
Gain of Restoration(GoR)
在本文模型中,将失真图像和恢复图像之间的差异定为GoR,实验发现对于特定的恢复网络,失真级别越高,GoR也就越大,我们的目的是对于每个输入,最大化GoR,基于GoR进行感知质量评价,而不是针对恢复图像与原始未失真图像的相似度。
恢复对抗网络
生成网络采用由残差块组成,由于残差连接使恒等函数更容易训练,并且残差网络的结构和HVS恢复的方式十分相似。每个残差块具有相同的布局,两层3x3核,核数为64的卷积,采用BN来避免初始化问题,添加分支来积累残差。该网络图如下所示:
由于VGG网络成功的应用于计算机视觉任务中,因此这里采用和VGG13具有相似结构的结构作为对抗网络的组成,恢复对抗网络损失函数由两部分组成感知损失和对抗损失。