算法概述
在失真图像的基础上产生了一个幻觉参考图像,将失真图像和幻觉参考图像成对输入回归网络中,同时结合生成网络中提取的部分信息,最终产生图像的质量分数。
创新点
- 首先在回归网络中,该网络将感知差异信息融合入回归网络中,这克服了“无参考”的弊端。
- 在生成网络中提出了质量感知损失函数,该函数包含了纹理特征相似性和质量特征相似性,从而可以产生高质量的幻觉参考图。
- 幻觉参考图像对最终的预测结果是十分重要的,因此辨别网络和隐式的排名关系融合机制被引入来引导好的幻觉参考图像的生成,并且抑制差的幻觉图像的生成。
具体实施
正如上图所示,该大网络中总共包含三个部分,生成网络,对抗网络和回归网络。
生成网络
生成的幻觉参考图像弥补了参考图像缺失的问题,因此该幻觉图像与真实图像的差距越小,回归网络效果也会越好,为了生成分辨率更高的幻觉参考图像,采用堆叠沙漏作为生成网络的baseline。在此提出了一个损失函数:
前半部分惩罚幻觉图像与真实参考图像的像素差异,比如MSE,其可以测量图像间的整体内容;后半部分惩罚幻觉图像与真实图像的感知差异,这里采用特征