无参考图像质量评价相关的问题总结

最近看了一些无参考图像质量评价的相关论文，自己也做过相关的一些工作！总结了一些问题。

图像质量评价分为全参考和半参考和无参考。实际上全参考和无参考的界限是非常明显的无论是基于，手工设计的特征，还是基于深度网络自适应的特征的方法都只用到失真图像的信息的可以视为无参考的方法。而全参考则可以获取参考图像的信息的方法。但介于二者之间的半参考方法的界限却不是很清晰。例如有将GAN生成参考图像的方法当成是无参考，如果有用到参考图像作为生成网络训练标签的时候，其实也能视为半参考。尽管测试环节不需要参考图像。

此外，无参考的方法存在泛化性较差的问题！这也制约了无参考方法商业化或者像SSIM那样成为比较公认的一个标准！

基于深度学习的方法，能够学习到失真图像的一些失真特征，但局限于数据量，这种方法有容易过拟合的问题。

而人工特征的表现就更差了。

总体而言，无参考图像质量评价的方法与实际主观分数的一致性较差，尤其是在跨数据集的时候。如何改善这类问题将是之后研究的一个主要问题。

自2018年以来，基于GAN的NR-IQA任务得到很多人的关注，其主要思想是，以失真图像作为输入生成清晰的图像（虚假的参考图像）作为参考。论文《No-Reference Image Quality Assessment Based on Multi-Task Generative Adversarial Network》也采用的是这类方法。

事实上这类方法在，在宏观层面想的话感觉是比较合理的，但仔细去想这种用数据驱动的方法在生成网络上会存在一些矛盾的任务。这种方法的合理性就难以说的过去了。比如我们可以将边缘锐化看成是一种失真方式，也能将图像的模糊视为一种失真方式。那么一个图像的恢复网络（生成器）既要让图像的边缘恢复的没有锐化之前的，又要让网络去模糊将边缘锐化。这种任务存在矛盾，因此很难用单个网络来解决这种多任务的问题。因此，个人觉得虚拟参考的这种方法也是存在一定的局限性的。如何去除这种局限？也需要更加仔细的去研究。

此外，很多的IQA方法，无论是FR-IQA还是NR-IQA的方法在应用层面，感觉也是做的不够好的。例如我们常用的FR-IQA方法SSIM，PSNR等可以直接作为损失函数，能引导图像复原任务的优化。而很多深度的方法和小波域的方法在这方面存在欠缺。主要考虑了与主观分数的一致性。而忽略了实际应用。个人尝试使用过NR-IQA模型作为损失函数应用到图像超分中，作为损失函数结果，嗯。。。。。炸了！全参考的方法用过没问题。如何将无参考图像质量评估方法用起来也是需要思考的一个问题。

此外，最近有部分研究人员提出，采用标量来作为无参考图像质量评估当中的标签存在一定的偏差的看法，如论文《Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild》。基于此提出了基于概率监督的一些无参考评价方法。这类方法在无参考图像质量评估当中取得不错的效果。但这种方式也只是对实际主观分数分布的的近似。如何构建一个比较好的概率模型需要进一步探索。这类方法的优势在于能融合多个不同的数据集，能够一定程度上改善模型的泛化性。

目前公开的图像质量评价的数据集图像数目非常少，对于数据依赖比较高的深度学习方法，这点非常致命！当然，也有相应的技术手段来改善这类问题，如常用的数据增扩，但是这类方法受到任务的局限性，很难做出多样的增扩策略。如图像的旋转，加噪等增扩方法就无法应用到图像质量评价任务，因为这人为的引入了失真！如何寻找有效的数据增扩手段成为一个比较有前景的方向。当然，很多学者想从根本上来解决这类问题，直接用较大的数据集来提升模型的泛化性能。2019年提出的KonIQ-10k数据集提供了上万个图像对。但是这对于深度学习来讲实际也是杯水车薪的。不可否认这种数据集的确带来了模型上性能的提升。缺陷在于这种数据集制作的过程人工成本很高。当然，也有人提出采用全参考模型来预测失真图像的主观分数并以这种分数作为无参考的标签。这种方案的局限性在于全参考方法的性能极限。

此外，数据的可靠性也是我们需要注意的问题！采用的数据在进行归一化等操作过程需要有较好的可逆性，归一化有可能导致图像退化，这方面也需要注意。

我们将在群里面分享常用的一些图像质量评价相关的数据集，讨论基于深度学习的图像/视频质量评价方法，以及IQA/VQA的应用相关的话题。