数据集中图像过曝、模糊、图像质量检测评估方法整理

1. 图像质量评估综述

仅作综述与相关开源库的记录，上一篇博文中有更详细的计算方法整理。

图像质量评估（Image Quality Assessment, IQA）从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score, MOS）或平均主观得分差异（Differential Mean Opinion Score, DMOS）表示。客观评估使用数学模型给出量化值，可以使用图像处理技术生成一批失真图像，操作简单，已经成为IQA研究的重点。

IQA按照原始参考图像提供信息的多少一般分成3类：全参考(Full Reference-IQA, FR-IQA)、半参考(Reduced Reference-IQA, RR-IQA)和无参考(No Reference-IQA, NR-IQA), 无参考也叫盲参考(Blind IQA, BIQA)。FR-IQA同时有原始(无失真、参考)图像和失真图像,难度较低，核心是对比两幅图像的信息量或特征相似度，是研究比较成熟的方向。NR-IQA只有失真图像，难度较高，是近些年的研究热点，也是IQA中最有挑战的问题。RR-IQA只有原始图像的部分信息或从参考图像中提取的部分特征，此类方法介于FR-IQA和NR-IQA之间，且任何FR-IQA和NR-IQA方法经过适当加工都可以转换成RR-IQA方法。进一步，NR-IQA类算法还可以细分成两类，一类研究特定类型的图像质量，比如估计模糊、块效应、噪声的严重程度，另一类估计非特定类型的图像质量，也就是一个通用的失真评估。一般在实际应用中无法提供参考图像，所以NR-IQA最有实用价值，也有着广泛的应用，使用起来也非常方便，同时，由于图像内容的千变万化并且无参考，也使得NR-IQA成为较难的研究对象。

衡量图像质量评估结果的指标有很多，每种指标都有自己的特点，通常比较模型客观值与观测的主观值之间的差异和相关性。常见的2种评估指标是线性相关系数（Linear Correlation Coefficient, LCC）和Spearman秩相关系数（Spearman's Rank Order Correlation Coefficient, SROCC）。LCC也叫Pearson相关系数（PLCC），描述了主、客观评估之间的线性相关性，SROCC衡量算法预测的单调性，除此之外，还有Kendall秩相关系数（Kendall Rank Order Correlation Coefficient，KROCC）、均方根误差（Root Mean Square Error， RMSE）等评估指标。KROCC的性质和SROCC一样，也衡量了算法预测的单调性。RMSE计算MOS与算法预测值之间的绝对误差，衡量算法预测的准确性。

PSNR是图像、视频处理领域应用最广的性能量化方法，计算复杂度小，实现速度快，已经应用在视频编码标准H.264、H.265中。尽管PSNR具有上述特点，但是局限性很明显，受像素点的影响比较大，与主观评价一致性比较低，没有考虑人类视觉系统（Human Visual System，HVS）的一些重要的生理、心理、物理学特征。基于HVS，提出了误差灵敏度分析和结构相似度分析（Structural SIMilarity Index, SSIM）[1]的评价方法。结构相似性假定HVS高度适应于从场景中提取结构信息，试图模拟图像的结构信息，实验表明场景中物体的结构与局部亮度和对比度无关，因此，为了提取结构信息，我们应该分离照明效果。后来又发展出多尺度的结构相似性（Multi-Scale Structural SIMilarity Index, MS-SSIM）和信息量加权的结构相似性(Information Content Weighted Structural Similarity Index, IW-SSIM)，在多尺度方法中，将不同分辨率和观察条件下的图像细节结合到质量评估算法中。 VIF算法使用高斯尺度混合（Gaussian Scale Mixtures, GSMs）在小波域对自然图像进行建模，由源模型，失真模型和HVS模型三部分组成。MAD[8]算法假定HVS在判断图像质量时采用不同的策略，即使用局部亮度、对比度掩蔽和空间频率分量的局部统计量的变化来寻找失真。FSIM算法强调人类视觉系统理解图像主要根据图像低级特征，选择相位一致性（Phase Congruency, PC）和图像梯度幅度（Gradient Magnitude, GM）来计算图像质量。后又加入颜色特征并用相位一致性信息做加权平均，发展出FSIMc算法。VSI算法把FSIMc中的相位一致性特征换成了显著图，保留FSIMc中的梯度和颜色信息，提高了效果。GMSD只用梯度作为特征，采用标准差pooling代替以前的均值pooling，达到了较好的效果。

虽然FR-IQA取得了良好的效果，但在许多应用中，参考图像获取不到，只能获取参考图像的一部分信息或间接特征，这便发展出RR-IQA。 RR-IQA方法为参考图像无法完全访问的情况提供了解决方案。 这种类型的方法通常先从参考图像提取最小参数集，然后结合失真图一起来估计质量。RR-IQA研究中的一个重要问题是如何确定IQA任务的有效参数。Maalouf et al等人提出了基于群变换的RR算法， 给定参考图像及其失真版本，将图像组应用于两个图像以便提取图像的纹理和梯度信息， 然后将该信息通过CSF滤波和阈值处理以获得灵敏度系数，最后通过将失真图像的灵敏度系数与参考图像的灵敏度系数进行比较来估计图像质量。Guanawan等人提出了基于局部谐波分析对阻塞或模糊降级的图像进行操作的RR-IQA算法，从边缘检测图像来计算局部谐波幅度信息，然后将该信息与失真图像一起用于估计图像质量。还有其他的基于自然场景统计（Natural Scene Statistics, NSS）的RR-IQA方法。

绝大多数NR-IQA算法试图检测特定类型的失真，如模糊，块效应，各种形式的噪声等。 例如，用于锐度、模糊度估计的算法已被证明对于模糊图像的NR-IQA表现良好。 NR-IQA方法可以评价图像的模糊度，有基于边缘分析的方法，如使用Sobel、Canny提取图像边缘。有基于变换域的方法，如使用DCT、DWT进行模糊评价。有基于像素统计信息的方法，如统计图像协方差矩阵的最大的前几个特征值的迹作为图像锐度的估计。NR-IQA方法可以估计噪声，有基于滤波的方法、基于小波变换和其他一些变换域的方法。 NR-IQA方法可以评估块效应，有基于块边界和变换域的方法。NR-IQA方法还可以评估JPEG和JPEG2000的压缩失真。

还有一些基于通用类型的NR-IQA算法，这些算法不检测特定类型的失真，他们通常将IQA问题转化成一个分类或回归问题，其中分类、回归是使用特定的特征进行训练的。 相关的特征要么使用自然场景统计提取，要么通过机器学习和深度学习发现。NR-IQA使用自然场景统计的一个主要思想是，自然图像表现出一定的统计规律，可以在失真的情况下进行评估。我们可以通过提取特征来估计质量，这些特征指示这些统计数据在失真图像中的偏离程度,比如BLINDS-II，这些方法速度通常非常慢，因为使用了计算耗时的图像转换。有基于SVM的方法，这类方法先提取图像空间域或变换域特征, 基于已有的数据训练支持向量回归分析模型（Support Vector Regression, SVR），或者对失真图像使用SVM+SVR模型，代表算法有BIQI，DIIVINE，BRISQUE等。或者使用概率模型的方法，比如BLIINDS，NIQE。或者基于码本的方法，比如CORNIA。并且 CORNIA证明，可以直接从原始图像像素学习判别图像特征，而不使用手工提取特征。

对于图像质量评估的开源库，补充在了第6、7章。

综述地址：图像质量评估综述 - 知乎 (zhihu.com)

1. 直方图

在图像领域经常使用直方图评估图像色彩质量，但直方图指标不容易量化（在摄影上我们一般会用直方图来判断曝光，当你的照片左侧和右侧无明显大量溢出像素的时候，可以说曝光准确。），过曝本身来讲没有一个较为通用的量化指标，并且直方图只反映图像亮度，与过曝与否没有直接联系，使用直方图检测图像是否过曝在一些非常规图像上效果式微，可做参考，如以下文章提到的问题（复制链接到浏览器，点击图片放大到正常阅读尺寸）：

https://pic1.zhimg.com/80/630ac0aa03613d34b09963b5c40de2f7_720w.webp?source=1def8aca

在图像处理中，也经常需要分析图像的亮度（即像素级的分布情况），这就需要用到直方图了，如颜色直方图、灰度直方图等。

颜色直方图：

颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可以不受图像尺度变化的影响，其缺点是没有表达出颜色空间分布的信息。

颜色直方图处理方法：

颜色直方图是对RGB三通道分别做统计，逻辑比较简单，我用opencv的函数来实现代码：

1. import cv2
2. import numpy as np
3. from matplotlib import pyplot as plt
5. image = cv2.imread(