Blind image quality prediction by exploiting multi-level deep representations

摘要

在IQA领域中已存在的神经网络大多数是太浅，并且将网络的最后一层的输出最为特征进行图像质量评价的训练。但这存在一些问题，首先网络的深度对于图像领域是十分重要的，其次在最后一层提取的信息可能高度概括了局部失真信息，而且中间层可能对于局部失真敏感但是却没有捕捉到高级的语义信息。因此在该算法中提取了多尺度的代表从深度神经网络中。

介绍

该算法主要思想是使用神经网络的最后一层输出作为特征，并不是一个好的选择，因为通常情况下网络的最后一层会高度泛化局部失真信息，从而网络对噪声等失真不敏感，而这些特征对于IQA是十分重要的。因此该文中算法对与CNN中的每一层都提取特征，对于这些特征分别进行SVR训练，得出每层特征的质量分数，最后平均这些局部质量分数得出最终的质量分数。

算法实施

网络结构
结构使用的是迁移学习，采用VGG网络，这点没什么新奇的地方，具体需要去参考VGG网络。

多尺度特征提取
VGG网络能够提取对图像分类中非常具有代表性的特征，每层网络都能够提取出不同的特征，因此这里对每层采取的特征进行SVR训练，每一层的每个通道取最大值和最小值作为特征。

具体的网咯结构如下：

个人看法

总体来看该算法很好理解，使用迁移学习对图像进行特征提取，之后对每层的特征都进行SVR训练得出每层的质量分数，最后将每层的质量分数取平均得出最终的质量分数。创新点在于提取了每层的特征，而不是使用最后一层的高度泛化的特征，这种原因可能在于人眼对图像进行质量评价时可能不只是考虑到高级信息，还参考了低级信息，这就给了一个方向，在使用神经网络训练时可以利用低级和高级的信息进行质量评价，也可采用DenseNet进行特征提取。