封面选择-NIMA阅读笔记

摘要

图像质量自动评估由于在成像、图像存储和共享等方面有广泛的应用，已成为一个较热的话题。图像质量评价具有主观性，目前大多数方法都是基于AVA [1] 和TID2013 [2]预测MOS（平均意见得分）。与这些方法不同的是，我们的方法是使用一个CNN网络来预测人类意见得分，简单而又有效。我们使用目前效果最好的深度目标检测网络，并进行重训练。最终的网络不但能够给出与人类感知高度相关的可靠的给图像质量评分，同时也能用于图像编辑/增强算法的优化，这些任务的完成都不需要参考图像。

简介

图像质量和美学的量化一直是计算机视觉和图像处理长期存在的问题。但质量评估涉及噪声、模糊、压缩等低水平的退化，美学评估涉及情感、美感等语义级别特征。通常图像质量评估可分为有参考（FR）和无参考（NR）两种方法。前者能获取参考图像（评价指标有PSNR，SSIM[3]等），后者依赖图像失真等统计模型进行预测，这两个方法目标都是预测与人类感知相关的质量得分。然后，图像质量评估的主观性仍然是最基本的问题。近年来许多复杂的深度神经网络模型被用来解决这个问题[4]–[11]。人类标注数据的出现促进了神经网络方法的发展[1], [2], [12]–[14]。一个典型的深度神经网络，先在相关的数据集（Imagenet）上训练初始化权重，再在标注好的图像质量数据集上进行微调。

A、相关工作

机器学习在预测图像质量上显示了明显的成功[4]–[7]。[5]使用CNN提取高维特征在盲图像质量评估上获得了最优的表现。使用端到端的特征学习系统代替手工设计的特征是使用CNN进行像素级质量评估任务的主要优势[5], [6]。[5]使用只有一个卷积层和两个全连接层的浅层网络，输入块的尺寸是32X32。[6]使用有12层的深度卷积网络来提升[5]的图像质量评估的表现。给定的小尺寸的图像块，这两种方法都需要对整张图像进行分数回归。[7]提出了一个基于AlexNet [15]的深度质量评估网络，从227X227的图像块提取多个CNN特征，然后回归得分。
美学质量评估的研究收益于CNN在目标识别领域的成功。这是有道理的，因为语义级别的质量与图像内容直接相关。最近基于神经网络的方法[8]–[11][16]与早期基于手工设计特征的方法[1]比效果有明显的提升。[1]是美学评估的基准方法，他引入AVA数据集，提出了使用手工设计的特征来进行风格分类。后来，[8][17]发现深度CNNs非常适合用于美学评估任务。[17]的双列CNN由4层卷积和2 层全连接层组成，输入分别是缩放和crop的224X224的图像。全局和局部图像视角的预测最后通过一个全连接层回归成一个总的分数。与[1]相似的是，[17]也基于人类投票的平均分数将图片分类为高低美学类别。[9]使用回归的损失函数和AlexNet结构预测平均得分。与[9]的方法相似，[11]微调VGG网络[18]来学习AVA数据集的人类投票分布，使用回归的框架目测投票的直方图分布。[19]最近重训了AlexNet和ResNet网络预测照片的质量。[10]使用自适应的空间池化可以允许给网络送入固定的不同比例的多尺度输入图，它使用多网络（每一个都是预训练好的VGG）的方法能在多个尺度进行特征的提取，然后使用一个场景聚合层将子网络结合起来。同样，[20]提出了一种感知布局的网络通过使用显著性图选择对预测美学得分有最大影响对图像块。总的来说，上面的所有方法都没有体现出预测结果和groundtruth的相关性。最近，[14]提出了在AVA数据集上训练基于AlexNet的网络和使用基于排序的损失函数来对照片进行美学等级排序，能够从两张输入图中学习美学分数的差异，从而间接优化排序相关性。据我们所知，[14]是唯一对AVA数据投票进行相关性评估的方法。

B、我们的贡献

本文提出了一个预测图像技术质量和美学质量的方法。相同的模型结构，在不同的数据集上训练，都能在这两个任务上成为当前效果最好的。因为我们的目标是预测结果与