基于CNN的图像质量评价

        目前用深度学习做图像质量评价的研究已经1年了，在过去的这一年里，基于深度学习的图像质量评价工作得到了很大的发展。先介绍最近刚看的也是刚出来的一篇CVPR的论文《Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning》[1]。

        这篇论文从性能上来看的确取得了巨大的突破，想较于2017年的RankIQA[ 2] 提升十分明显，在TID2013库上有近0.1的提升。传统的深度学习做质量评价可分为两类吧。一类是做Rank的学习，这类论文相对较少，代表作就是ICCV的RankIQA，另一类是CNN做质量分数的拟合回归，大部分的工作都是基于回归的任务，同时加上一些独特的设计，较为经典的有Bosse的WaQIA-IQA [3]。相比较这两类方法，该工作采用预测一个伪参考图像的方法，同时应用了比较新颖的GAN作为图像的生成器。在 [4] 中有类似的思路，不过[4]中采用的全卷积的方式，[4]和[1]都提到了一点就是，网络预测出来的伪参考图像中会丢失一些高频信息。[4]中是通过在全连接层中加入了两个提取的特征，而在该论文中，是通过使用GAN以及在loss函数加入一个特征信息 [5] 进行约束的信息，这样可以保留失真图像中应有的信息，而不至于因为图像生成而导致信息丢失，致使回归拟合中信息变差。

        这篇文强调的一点是生成网络和回归网络的互补互助，将两个网络结合在一起进行端到端的训练，我觉得如果做一个对比实验会更具有说服力，如没有伪参考图像的 信息的测试结果。其中将中间层的特征图融入loss函数中作正则项，保留更多的细节在生成网络中。

       总的来说本文的创新力度很大，同时性能极好，也为之后的工作提出了一种新的思路吧。

 

 

 

[1] 2018CVPR: Hallucinated-IQA：No-reference imagequality assessment via adversarial learning

[2] X. Liu, J. v. d. Weijer and A. D. Bagdanov, ”RankIQA: Learning from Rankings for No-Reference Image Quality Assessment,” 2017 IEEE International Conference on Computer Vision (ICCV), Venice, pp. 1040-1049, 2017.

[3] S. Bosse, D. Maniry, K. R. Mller, T. Wiegand and W. Samek, ”Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment,” IEEE Transactions on Image Processing, vol. 27, no. 1, pp. 206-219, Jan. 2018.

[4] J. Kim, A. D. Nguyen and S. Lee, ”Deep CNN-Based Blind Image Quality Predictor,” IEEE Transactions on Neural Networks and Learning Systems. doi: 10.1109/TNNLS.2018.2829819

[5] L. A. Gatys, A. S. Ecker, and M. Bethge. Texture synthesis using convolutional neural networks. In NIPS, 2015.