1、Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning
简单记录而已,问题很多,欢迎讨论。
GAN主要就是生成器和判别器。
1、生成器
生成就是从失真图产生高分辨率的幻觉图,因此loss就是生成的幻觉图与真实参考图的差(这里我觉得他用到了参考图,不知道为什么还叫No-Reference ),这里的优化目标他分为两种:像素差和视觉差。即lp和ls。
其中lp就是两者像素的差值。(where lp penalizes the pixel-wise differences between the output and the ground truth with pixel-level error measurements,such as MSE, to generate holistic content)
就是两者经过VGG-19后得到的特征差,作者将ls又做了划分。
结合D网络,G的损失函数如图
2、判别器
如何G生成的图像对R(质量分数预测网络)造成的影响是积极的就是真样本,反之为假。
3、R网络
采用之前的方法进行质量评估
可能他说的无参考是指R网络进行质量评估时没有使用参考图吧。因为R依赖与G,在假定G训练之后,给R增加了一个约束。
2、Blind Predicting Similar Quality Map for Image Quality Assessment
虽然不是使用GAN网络,但是采用的是图像对图像的思想,所以也记录在这里吧。
第一步,得到quality map。采用的是u-net网络,生成两个quality map,一个是SSIM做label,另一个是FSIM做label。
第二步,回归 quality score。生成两个map后,连接。然后输入到FC做回归score。
好像也没有要多说的,文章的思想也很清楚,简单明了,就是不知道作者使用u-net生成的两个map图的结果到底怎么样。如果效果还可以理论上直接还原未失真图像也是可行的,但是想要到达一定的效果,恐怕要做不少的工作。