MARG-UNet: A Single Image Dehazing Network Based on Multimodal Attention Residual Group(多模态注意去雾网络)

MARG-UNet: A Single Image Dehazing Network Based on Multimodal Attention Residual Group | IEEE Conference Publication | IEEE Xplorehttps://ieeexplore.ieee.org/document/9828891摘要：在现实生活中，雾是在特定的天气条件下产生的，这降低了户外图像的色彩保真度和信息的完整性。虽然脱雾的方法基于卷积神经网络（CNN）已经快速和显著的进步，仍有非均匀雾的问题，不能完全删除图像，和图像脱雾后出现明显的颜色和结构迁移之间的模糊图像和干净的图像，这不能符合人类的视觉系统。在上述问题的基础上，提出了一种具有编解码器结构的去雾模型，通过在残差块中嵌入信道注意和像素注意，提高了非均匀特征提取能力，提高了模型的去雾性能。同时，引入多尺度结构相似指数（MS-SSIM）损失函数和平均绝对误差（MAE）损失函数，使去模糊图像与干净图像之间存在不明显的颜色和结构偏差。实验结果表明，在不降低结构相似度（SSIM）的情况下，峰值信噪比（PSNR）提高了1.27%。去模糊后的图像与人类视觉系统更加匹配，有效地解决了图像不完全去模糊的问题。

本文主要内容：

问题：如何提高U-Net降采样过程中的特征提取能力，保留原始图像的颜色和结构信息，是目前需要解决的一个问题。

解决办法：本文基于多模态注意残差群（MARG）模型，提出了一种单一的图像去模糊网络。以具有多模态注意机制的MARG模块为基本模块，提高了网络提取图像中雾霾特征的能力。采用多尺度结构相似度指数（MS-SSIM）和平均绝对误差（MAE）损失函数来控制去模糊图像与干净图像之间的颜色和结构偏差。

                                                     图1 本文主要框架 

       如图1所示，该网络基于U-Net架构，由编码器模块、特征恢复模块和解码器模块组成。我们在编码器模块中嵌入了MARG模块。模型的输入是雾霾图像，依次通过三个模块得到最终的去雾图像。编码器模块由卷积层组成（步幅=1）、MARG模块、卷积层（步幅=2）和密集特征融合模块。MARG模块中有三个残差块，残差块与残差块连接，在残差块中嵌入的多模态注意机制提高了网络提取模糊特征的能力，为解码器模块提供了更多有用的信息。

       特征恢复模块由18个剩余块组成。其功能是进一步处理编码器获得的特征，从而使解码器能够更好地恢复无雾图像的内容信息。

      编码器-解码器的体系结构是对称的。解码器模块由四个子模块组成：反卷积层（步=2）、强化操作减法增强模块、卷积层（步=1）和密集特征融合模块。

A.      MARG模块

 

        如图2所示，MARG模块由三个残余块组成。每个残差块有两个卷积层（步幅=2），一个ReLU激活功能和一个多模态注意机制。通过对残差块[24]的多层叠加，可以提高特征提取能力。MARG模块利用ResNet中残差学习的思想，通过局部残差和全局残差将提取的特征转移到下一层，确保提取的下采样特征不会丢失。多模态注意机制可以不均匀地处理不同浓度的雾霾特征，从而提高了非均匀雾霾的特征提取能力。

多模态注意机制

        

       网络中嵌入的多模态注意机制可以不均匀地处理不同浓度的雾霾特征，提高对图像中非均匀雾霾特征的提取能力。如图3所示，多模态注意机制由通道注意和像素注意组成。

1）通道注意

          通道注意主要关注不同的通道特征，将不同的通道特征分配给加权不同的权重。首先，利用全局平均池化的方法，将通道级的全局空间信息转换为信道描述符

表示第d个通道在位置（m,n）上Md的值，H0表示全局平均池化函数。

全局平均池化函数改变了从C×H×W到C×1×1的特征图，为了获得不同通道的权值，特征图通过两个卷积层，sigmoid,ReLU激活函数

表示sigmoid激活函数，表示ReLU激活函数，Cd表示通道权重。

输入Gd的元素级和通道Bd的权重是相乘的，以便获得输出通道的通道注意

 2)像素注意

    与通道注意相似，不同像素上的雾霾分布不均匀，使用像素注意使网络更加关注厚阴影像素和高频图像区域的特征。首先，通过直接输入输出的通道注意分成两个卷积层，特征图从C×H×W到，1×H×W。

  表示sigmoid激活函数，表示ReLU激活函数，C0表示像素权重。

  最后，在输入的元素层面上看和相乘得到多模态注意机制的输出。

多模态注意机制的输出。

B.损失函数

   损失函数由两个不同的组件组成。每一个都是用于特定的目的。

  MAE损失：研究MAE损失函数，为了减少MSE损失函数引入的伪影，带来不同的收敛特性。MAE损失函数可以表示为

 

F是阻拦图像模块，K是patch中的像素数，q是像素的索引，是无雾图像和清晰图像的像素值。

MS-SSIM损失：为了让网络出现，学习产生视觉上令人满意的结果，采用MS-SSIM作为第二个损失函数。设W和A表示以像素为中心的两个共同大小的窗口q分别在去雾的图像和干净的图像中。对W和A应用高斯滤波器，并计算得到的均值µ0、µG、标准差σ0、σG和协方差nQG。像素的SSIM q是否被定义为:

U1和U2是有两个变量来稳定具有弱分母的除法，l(q)表示亮度，cs(q)指对比和结构措施。

MS-SSIM损失函数如下。是默认参数，Q表示尺度的总数。

 

实验分析与结果 

A   数据集 

        为了与其他模型进行比较，本文使用了最常用的真实单图像去模糊（驻留）数据集[25]。驻留数据集包含合成的真实世界的室内数据集和真实世界的室内数据集。为了进行比较，所有的方法都在选定的驻留数据集上进行训练，并在合成目标测试集（SOTS）上进行评估 ，SOTS是驻留数据集的测试子集。部分驻留数据集图像如图4所示。

B. 评估表现

 目前对除雾体系结构的评价指标为峰值信噪比（PSNR）和结构相似度（SSIM）[26]。PSNR和SSIM是全参考的评价指标，在评价图像时需要参考干净的图像。PSNR值越大，图像的失真度越低，图像的质量就越高。SSIM越接近1，待评估图像与无雾图像的亮度和对比度的相似性越高。

D.在SOTS数据上的去雾结果

本文选择了具有代表性的脱雾方法进行比较，包括经典的脱雾方法DCP [7]，AOD-Net [11]，MSBDN [23]。为了进行比较，所有的方法都在选定的驻留数据集上进行训练，并在SOTS数据集上进行评估。

 从SOTS数据集中选择4张脱雾后的图像进行主观质量评价。如图5所示，行1和行2的脱雾结果为室内图像，第3、4行是户外脱除雾的结果。DCP方法是所有脱雾方法中最差的。AOD-Net也达到了一定的脱雾效果，但它不能完全去除雾霾，在物体的边缘有一些明显的伪影。MSBDN和本文方法都取得了较好的去雾效果，但MSBDN生成的无雾图像噪声相对较小，无雾图像可能出现轻微的颜色失真。相比之下，我们的方法生成的无雾霾图像在各方面都更接近于干净的图像。

此外，如表1所示，本文还给出了每种方法在SOTS数据集上的客观评价结果。对SOTS数据集的测试表明，PSNR和SSIM都表现最好。

 

E. 真实场景的结果

如图6所示，由于在真实场景中雾霾分布不均匀、浓度高，DCP存在颜色失真和过度暴露，虽然视觉清晰，但实验指标不佳。AOD-Net未能从密集的模糊图像中去除大量的烟雾。我们的方法和MSBDN方法达到了一定的脱雾效果，且该方法在细节恢复方面优于上述方法。

F.消融实验

为了进一步证明MARG-UNet体系结构的优越性，我们通过考虑我们提出的MARG-UNet的不同模块，进行了消融研究。案例1无MARG模块，MS-SSIM+MAE为损失函数；案例2基于MARG模块；案例3以MS-SSIM+MAE为损失函数；案例4以MARG为基本模块，MSSSIM+MAE为损失函数。在使用相同的训练数据集的SOTS数据集上的性能如表2所示。可以看出，与案例1相比，案例2单独使用MARG模块，案例3单独使用MS-SSIM+MAE作为损失函数和PSNR分别增加了0.74%和0.56%。案例4结合了MARG模块和MS-SSIM+MAE作为损失函数，使PSNR提高了1.27%。综上所述，以MARG模块和MS-SSIM+MAE为损失函数的网络模型有效地提高了模型的脱雾能力。

 

结论

 本文提出了一种单图像去雾网络，并证明了其在去雾任务中的强大能力。解决图像中非均匀模糊的MARG模块，引入MS-SSIM+MAE损失函数，使无模糊图像与干净图像之间出现不明显的颜色和结构迁移。结果表明，PSNR和SSIM的客观评价指标在公共数据集SOTS上已经达到了最先进的性能。尽管MARG-UNet在图像去模糊方面达到了理想的性能，但当图像亮度过低、雾霾过厚时，仍然存在着不完全去模糊的问题。在未来，我们需要找到解决这个问题的办法。