3D No-Reference Image Quality Assessment via Transfer Learning and Saliency-Guided Feature Consolid

摘要

该论文方法主要有两步，第一步采用迁移学习思想，对已存在的网络微调最后一层形成特征提取算子提取特征，第二步使用显著性图作为权重将左右视图提取的特征进行融合，额外的再加上多尺度下的视差信息。将以上提取的特征作为训练所用的数据，最后采用SVR进行训练。

介绍

图像质量评价的主要思想是提取能够反映失真水平的特征，传统的方法里主要有以下两种：基于NSS的特征和基于HVS的特征，但是这些都需要花费大量的时间来寻找这些特征。因此这里的论文方法采用基于CNN的特征提取，首先直接将预训练网络应用于IQA中并不高效，因此这里采用预训练网路进行微调，微调后的网络能够很好的应用于3DIQA特征提取中。在利用微调的网络提取特征后再利用显著性信息进行左右视图的特征融合。3D视图还有一个重要的信息是视差信息，因此这里将视差信息也作为最后特征的一部分，最后将以上所有的特征进行SVR训练。
算法框架

算法详解

迁移学习的可行性

预训练网络是从大规模数据集中训练得出的，因此只要使用的数据集不超过特定的领域，微调方法都能取得比较良好的效果。原因： 1、与训练网络能够提取一些通用的特征，如轮廓和边缘等，这些对于失真的情况的测量是有用的；2、IQA的数据集和ImageNet的数据集存在某些相似性。

系统的分析微调CNN

微调所要做的是让CNN的后面层对