FRIQUEE and MSFA

深度学习 质量评价分类

1. Score-based 方法

（patchwise、imagewise）即逐块 和逐图像

部分聚集和池化策略示例：

2. Rank-based 方法

基于偏好图像对（preference image pair, PIPs）的无参考图像质量评价方法，属于从图像排序中学习图像质量的方法。对于一个偏好图像对而言，其标签表示的是图像一的质量比图像二的质量好，代表了两张图像的相对质量。

3. Multi-task方法

通过对失真图像提取相应的统计特征对图像进行失真分类，并根据分类结果回归图像的质量分数。

第一篇论文 SFA

[Ref] D. Li, T. Jiang, W. Lin, and M. Jiang, “Which has better visual quality: the clear blue sky or a blurry animal?,” IEEE Trans. Multimedia., vol. 21, no. 5, pp. 1221-1234, Nov. 2019.
本文特别关注图像内容变化对NR-IQA方法的影响。经验表明，目前的NRIQA方法在预测不同内容的图像对的相对质量时与人类的视觉感知不一致。
提出了一种基于语义特征聚合（SFA）的NR-IQA方法，以减轻图像内容变化的影响。然后，根据自适应层选择过程，提取深层语义特征。然后，利用多个统计结构对局部斑块特征进行聚集。最后，训练一个线性回归模型，将聚集的全局特征映射到图像质量分数。

现有的方法忽略了图像内容变化的影响，从而导致对图像对的预测不一致。图像内容感知功能可以帮助减轻图像内容变化的影响。因此，在这项工作中，我们提出了一种新的NR-IQA方法，该方法利用有效的聚合机制促进图像内容感知特征。总体框架如图5所示，包括四个关键部分：图像表示、特征提取、特征聚合和质量预测。

1. 图像表示

调整大小不是一个好的选择，因为这会导致几何变形，从而改变图像质量。我们使用多个重叠的块（步长等于块大小的一半）来表示图像。这样不仅可以覆盖整个图像，而且避免了不必要的几何变形。

2. 特征提取

其中L表示我们从哪个层提取特征，θ是模型参数，GAP表示汇集特征映射的全局平均池操作
因此，我们在训练数据的五次交叉验证的基础上，自适应地从其res3d、res4f或res5c（从低到高）层提取合适的语义特征映射。

3. 特征聚合

连接特征→导致特征的高维
平均特征→能会丢失局部斑块特征的重要特征（如各维度的标准差）

平均值标准差聚合
分位数聚合 1/4
矩聚合

4. 质量预测

利用统计结构进行特征聚集，降低特征空间（nl→2l，5l，4l）的维数。l通常很大。我们采用了简单的线性回归模型，偏最小二乘回归（PLSR），因为它的复杂性低，处理高维数据的能力显著。p全局设置为10。为了利用集成学习的优势，质量预测由三个PLSR模型预测的分数的加权平均值给出。

其他结论：显著性检测

泛化能力 → 比RISE好

第二篇论文 FRIQUEE

[Ref] D. Ghadiyaram, A. C. Bovik, “Perceptual quality prediction on authentically distorted images using a bag of features approach,” Journal of Vision, 2017, 17(1)

目前，比较有效的真实失真评价算法是Ghadiyaram提出的FRIQUEE,
重点介绍该算法的图像特征提取部分。

1.亮度特征图(FRIQUEE-L)

亮度图：给定一幅RGB颜色空间中的图像I，大小为MXNX3,首先提取 其亮度L分量图。接着对L分量按照提到的方法进行处理，产生归一化亮度系数MSCN图，然后釆用一个GGD模型来模拟MSCN图的经验分布。 同样，该算法在两个尺度上估计了模型参数（α，a2)和样本参数(峰度，偏度)，因此总共考虑了8维特征。
邻近成对乘积：该算法模拟邻域之间的统计关系，并计算四个邻域乘积图。 对这四个图都进行AGGD分布拟合以及提取两个样本参数(峰度，偏度)。该算法在两个尺度上提取这些特征，因此总共考虑了 48维特征。 
Sigma图：灰度图像的sigma系数呈现规则结构，而失真会干扰图像的这种结构。因此该算法可以在2个尺度上提取样本的峰度，偏度以及sigma的算术平均值。
Sigma图的高斯(DoG)偏差：一个性能良好的模型就是各向同性高斯滤波器的二维差异
sigma参数的DoG的标准化系数(表示为DoGsigma)也符合 GGD分布P’同时，失真也会影响高斯分布特性。因此可以提取DoGsigraa分布 的形状，标准偏差参数，样本的偏度和峰度特征。
拉普拉斯的亮度图：原始图像的灰度图具有与拉布拉斯函数相似的分布，所以可以利用AGGD模型进行拟合匹配，而且失真会破坏图像的这类属性。接着计算图像的估计模型参数和样本特征(峰度和偏度)，最终一起作为图 像的特征，用来图像的质量评价。
黄色通道映射：在RGB颜色空间中表示图像黄色通道的映射定义如下：
归一化系数Y和Y的sigma标准化系数(表示为Ysigma)也呈现出高斯分布， 而且这种高斯分布不会在失真图像上显示127]。所以可以通过计算归一化系数Y 和其对应Ysigma的广义高斯分布的拟合性偏差来衡量失真程度。
在小波域中提取图像特征：对于给定图像，可以利用C-DIIVINE从其亮度 图中提取3个尺度和6个方向的特征，总计可以提取82维统计特征。

2.LAB特征图（FRIQUEE-LAB）

对于待测量图像，首先进行颜色变换进入LAB空间，接着通过处理两个色 度分量A和B来获得各类特征。
A和B色度图：原始图像A分量和B分量的归一化系数遵循高斯状分布， 而且失真会影响这类分布。因此，可以利用GGD模型来捕获这些统计偏差。该 方法对图像在两个尺度上提取两个模型参数(形状和标准偏差)以及两个样本统 计量(峰度和偏度)用来作为图像的特征。色度图的Sigma参数：特征处理方式与 亮度分量sigma相同。

3. LMS 特征图（FRIQUEE-LMS)
   LMS色彩空间是与人类感知最接近的色彩空间，在对数响应空间中，鲁棒 的正交去相关方法会产生三个主轴:
   红绿和蓝黄(颜色对立图)：该算法沿着两个颜色的对立轴&和>投影来量化 图像，然后利用人000模型进行拟合匹配，最终可以捕获模型参|£〇7,52,〇;2；)和 颜色对立图的样本峰度和偏度。
   M和S色度图：将图像转换为LMS色彩空间后，接着处理M和S色度分 量，并对它们的归一化系数和对应的sigma参数进行建模。该方法同样对两个色 度分量进行laplacian, 00&_和000’_3统计特征提取。与此同时，该方法也利用C-DIIVINE对图像进行3个尺度和6个方向的特性提取。

数据集 LIVE challenge

Compare

统计显著性

在LIVE数据集上