NIMA:Neural Image Assessment

NIMA:Neural Image Assessment

参考：博客
论文：https://arxiv.org/abs/1709.05424

图像质量评估，既有对图像美学质量的一个评估，又有对图像内容的一个评估。

技术质量评估主要是低阶的（如噪声，模糊度，压缩），美学质量评估量化了情感和美感相关的语义级别的特征。

图像质量评估分为：

• 全参考
• 无参考

全参考质量评价算法主要通过对图像的视觉特征进行分析，量化参考图像和失真图像之间的差异，以计算失真图像的视觉质量。相对全参考质量评价算法，无参考质量评价算法在计算失真图像的视觉质量时不需要任何参考图像的信息。

1、概率分布

本文预测的是图像质量打分的一个概率分布，softmax后接的是一个分类模型。

已经证明，对于有序类，分类模型结果优于回归模型。
[21]([https://arxiv.org/pdf/1611.05916.pdf](https://arxiv.org/pdf/1611.05916.pdf)) 
[34]([https://arxiv.org/pdf/1605.08695v2.pdf](https://arxiv.org/pdf/1605.08695v2.pdf))

2、图像预处理

训练时图像首先被缩放到256x256，然后随机裁剪224x224。

本文也测试了不缩放直接裁剪成224×224的图像，但是效果并不好。这是由于图像缩放中不可避免的变化。
训练过程中的另一个数据增加手段是图像crop的水平翻转。

图像质量分数分布的平均值和标准差：
$$\mu =\sum _{i=1}^{N}si\times p_{si}$$
$$\sigma =\sqrt{\sum _{i=1}^N(si-\mu {)}^2\times p_{si}}$$

3、损失函数

在有序类的情况下（例如 美学和质量评估），交叉熵损失缺乏得分区间之间的内部关系。对类之间具有内在排序的数据集进行训练可以从基于EMD损失中受益，这些损失函数根据类别距离惩罚错误类。EMD公式：
$$EMD(p,\hat{p})=(\frac{1}{N}\sum _{k=1}^N|CD{F}_p(k)-CD{F}_{\hat{p}}(k){|}^r{)}^{1/r}$$

4、质量分布

本文方法有效的预测了质量分的分布，而不仅仅是平均分，这样可以得到更准确的质量预测。

5、图像增强

训练图像质量评价，根据质量评价高的图像的参数（如噪声、对比度），来预设同类图像增强算子的参数，实现图像增强的效果。