Deep feature importance awareness based no-reference image quality prediction

摘要

基于深度学习的图像质量评估(IQA)算法通常采用转移学习的方法，将一个预先训练好的分类任务网络转移到处理IQA任务上。虽然它可以在一定程度上克服IQA数据库不足的问题，但它不能区分重要的和不重要的深度特征，这可能导致预测性能不准确。在本文中，我们提出了一种基于深度特征重要性建模的无参考IQA方法。采用自适应迁移学习方法建立了SE-VGG网络。它可以抑制对IQA任务不重要的图像显著性目标局部特征，突出重要的图像失真特征和显著性目标。在小型IQA数据库中，研究了SE-VGG的结构以提高图像质量评价的准确性。

介绍

在图像质量评价领域，数据集很小，因此无法直接使用DNN模型进行训练。由此产生两种方法：

• 基于图像块的方法
• 基于迁移学习的图像的方法

然而对于前者来说，每个图像块的真实质量分数是未知的，同时直接将整张图像的分数作为图像块的分数是不合适的因为图像的质量分布是不均匀的。使用全参考方法对每个图像块进行打分也是不合适的，因此无法得到理想的图像块质量分数。
在RankIQA中，作者首先利用大规模的Imagenet数据集对VGG网络进行预训练，完成识别任务(VGG- C)，然后利用合成的失真图像对孪生网络进行预训练，对图像失真等级进行排序。最后，他们提取了孪生网络的一个分支VGG-L网络，并对VGG-L网络进行了微调以估计图像质量分数。
然而，在迁移学习过程中，VGG-L网络不能区分对IQA任务重要和不重要的特征，导致预测性能下降。这是因为VGG-L网络是从VGG-C网络传输来完成分类任务的。与分类任务相关的重要特征并不都有利于IQA任务。在分类任务中，显著的目标和局部的部分是很重要的。在IQA任务中，观众的注意力集中在显著的物体和严重失真