阅读论文：NESTED ERROR MAP GENERATION NETWORK FOR NO-REFERENCE IMAGE QUALITY ASSESSMENT

摘要：该体系结构由主干特征抽取器、嵌套多任务生成模块和质量回归模块组成。采用从粗到精的策略，在两个用不同的损失函数进行优化的子任务中预测目标误差图。该网络被设计成嵌套的，这样从子任务中学习到的区别性特征就可以被主要任务有效地共享。通过在重建的误差图和学习的失真敏感度图之间应用掩蔽机制，获得感知失真图。采用质量回归模块将掩盖的失真非线性映射到主观分数。

1.方法

它由一个主干特征抽取器、一个带有两个辅助子任务和一个主要任务的生成模块以及一个质量回归模块组成。

1.1主干特征提取

 Xn和Rn表示第n个失真图像和相关的参考图像。yn表示xn的MOS分数。用en=|xn-Rn|表示地面真值误差图，用于训练阶段。我们使用ResNet-50作为主干模块，直接从扭曲的RGB图像Xn中提取特征。我们分别从ResNet-50的早期层和后期层提取底层特征和语义特征。据观察，早期层的输出集合了图像结构的低级表示，这使得它们对模型质量感知过程有吸引力。另一方面，来自后期层的特征代表整体图像内容，提供了一种与局部扭曲相对应的注意机制。

之前关于HVS的研究[14]表明，在评估视觉内容的感知质量时，人类观察者更关注图像的高频部分。我们提取输入图像的高频分量Xn，作为发电网络要使用的特征的一部分。

1.2错误映射生成

畸变图像和相应参考图像之间的误差映射是客观畸变的表示。它与视觉内容的感知质量高度相关。我们提出了一种嵌套网络，用多任务学习结构重建从粗到细的误差映射。

有两个子任务和一个主要任务。具体来说，子任务I和II被设计用于重建错误映射，这些错误映射通过像素级和分片级失真度量进行优化。同时，主要任务是学习内容自适应失真敏感度图。子任务I的网络由六个3×3的卷积层组成。它将从高通量图像中获取的特征映射、从ResNet-50中提取的高级和低级特征作为输入。在连接之前，这些特征映射将被适当地降采样。使用'2-范数作为损失函数来优化子任务I。

 众所周知，L2损失函数对异常值不稳定，其对失真图像和原始图像之间的像素不同十分敏感。为了解决这个问题，我们构造了子任务II，用SSIM度量捕获结构信息。这是通过在子任务I之外引入额外的卷积层来实现的。我们计算子任务II的损失函数的结构差异。

 表示任务二重建的误差图，

表示通过SSIM度量来测量结构距离。值得一提的是，子任务I中的参数θ1是θ2的子集。

人类视觉系统为图像的不同区域分配不均匀的权重。主要任务是学习畸变敏感度图。从ResNet获取的语义特征传递了输入图像的上下文信息。我们将语义特征融合到主要任务的网络中。这可以作为一种注意机制，引导网络学习内容自适应失真敏感度图。

1.3失真掩蔽与质量回归

我们用学习内容自适应失真敏感度图和元素乘法来掩盖重建的错误图。当背景的掩蔽效应很弱时，失真很容易被察觉。然后，使用1×1卷积层统一从子任务I和子任务II获得的掩蔽误差图。 全局平均池应用于掩码失真图，以表示感知失真的程度。整个框架的损失函数可以表示为

 是指被预测的质量分数。为了简单起见，我们使用θ来表示整个网络的参数。λ1、λ2、λ3是相应项的权重。

1.4实验设置

我们从一张源图像中随机裁剪出40块大小为224×224的补丁，用于训练和测试。在训练阶段，补丁被分配与源图像相同的主观质量分数。对于测试，最终得分是40个采样斑块预测得分的平均值。