文献阅读：DEA-Net：基于细节增强卷积和内容引导注意的单图像去雾

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

摘要

本周主要阅读了文章，DEA-Net：基于细节增强卷积和内容引导注意的单图像去雾。该论文提出了提出了一种细节增强注意力块（DEAB），该模块由一个细节增强卷积（DEConv）和一个内容引导的注意力（CGA）机制组成，使得模型能够更好地保留图像的细节信息，同时又能关注图像中的重要信息，从而达到更好的去雾效果。除此之外，还学习学习了CGA模块的注意力代码模块的学习。

Abstract

This week, I mainly read the article DEA-Net: Single Image De-Fogging Based on Detail Enhancement Convolution and Content Guided Attention. This paper proposes a detail enhancement attention block DEAB, which consists of a detail enhancement convolution DEConv and a content guided attention CGA mechanism. This module enables the model to better preserve the details of the image while also focusing on important information in the image, thus achieving better de-fogging effects. In addition, I also learned about the attention code module of the CGA module.

---

文献阅读：DEA-Net：基于细节增强卷积和内容引导注意的单图像去雾

Title： DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention
Author：Zixuan Chen, Zewei He†, Zhe-Ming Lu
From：JOURNAL OF LATEX CLASS FILES, VOL. 14, NO. 8, AUGUST 2021 1

1、研究背景

单张图像去雾是一个低级视觉任务，旨在从单张受雾影响的图像中恢复其清晰的场景。图像去雾在许多计算机视觉应用中都有需求，例如自动驾驶、无人机、监控系统等。在这些应用中，准确的场景感知和物体识别对于系统的可靠性和安全性至关重要。当然单图像去雾是一个具有挑战性的问题，它从观测到的雾图像中估计潜在的无雾图像。一些现有的基于深度学习的方法致力于通过增加卷积的深度或宽度来提高模型性能。卷积神经网络（CNN）的学习能力仍然没有得到充分探索。

2、方法提出

本文提出了一种细节增强注意力块（DEAB），DEA-Net是一种用于单张图像去雾的深度学习网络。它采用类似U-Net的编码器-解码器结构，由三部分组成：编码器部分、特征转换部分和解码器部分。在去雾等低级视觉任务中，从编码器部分融合特征与解码器部分的特征是一种有效的技巧。该模块由一个细节增强卷积（DEConv）和一个内容引导的注意力（CGA）机制组成。DEConv包含并行的普通卷积和差异卷积，五个卷积层（四个差异卷积和一个普通卷积），这些卷积层并行部署用于特征提取。 此外，复杂的注意力机制（即CGA）是一个两步注意力生成器，它可以首先产生粗略的空间注意力图，然后对其进行细化。

3、相关知识

3.1、DEConv

DEConv包含五个卷积层（四个差异卷积和一个普通卷积），这些卷积层并行部署用于特征提取。具体来说，采用中心差分卷积（CDC）、角差分卷积（ADC）、水平差分卷积（HDC）和垂直差分卷积（VDC）将传统的局部描述符集成到卷积层中，从而可以增强表示能力和泛化能力。在差异卷积中，首先计算图像中的像素差异，然后与卷积核卷积以生成输出特征图。通过设计像素对的差异计算策略，可以将先验信息显式编码到CNN中。这些卷积用于特征提取和学习，可以增强表示能力和泛化能力。

3.3、多重卷积的计算

VC、CDC、ADC、HDC和VDC的核函数，与图像进行卷积，最后并行卷积结合在一起。

3.3、FAM

FAM（Feature attention module）是一种用于图像去雾的注意力机制模块，它包含通道注意力和空间注意力两部分。FAM通过对不同通道和像素进行不平等处理，提高了去雾性能。然而，FAM的空间注意力只能在图像级别上解决不均匀的雾分布问题，忽略了其他维度。以此有以下几个缺点：

1. 空间注意力机制：FAM中的空间注意力只能在图像级别上解决不均匀的雾分布问题，这意味着它无法处理多尺度维度的雾分布问题。在处理具有复杂雾分布的图像时，这可能会导致去雾效果不佳。
2. 通道特异性SIMs（空间注意图）：FAM在计算注意力权重时，只使用了一个单一通道来表示输入特征的重要区域，而输入特征的通道数量相对较大。这可能导致注意力权重的计算不够准确，从而影响去雾效果。
3. 两个注意力权重之间缺乏信息交换：在FAM中，通道注意力和空间注意力是顺序计算的，它们之间没有信息交换。这意味着它们可能无法充分考虑彼此的特点，从而影响去雾效果。

3.4、CGA

CGA（Content-Guided Attention）是一种内容引导注意力机制，用于提高图像恢复任务中神经网络的性能。CGA是一种粗细处理过程，首先生成粗略的空间注意力图，然后根据输入特征图的每个通道进行细化，以产生最终的空间注意力图。CGA通过使用输入特征的内容来引导注意力图的生成，从而更加关注每个通道的唯一特征部分，可以更好地重新校准特征，学习通道特定的注意力图，以关注通道之间的雾霾分布差异。CGA的工作过程分为两步：

1. 生成粗略的空间注意力图。这是一个粗细处理过程，通过生成一个粗略的注意力图，可以快速捕捉到图像中的主要特征。
2. 根据输入特征图的每个通道对注意力图进行细化。这一步的目的是使注意力图更加精确，能够关注到特征图中的独特部分。

4、实验

4.1、数据集

1. SOTS：SOTS是一个包含1000张室内和室外清晰图像以及对应的带有不同雾度的模糊图像的数据集。该数据集分为训练集、验证集和测试集。SOTS数据集的图像具有丰富的场景和复杂的雾度，因此可以有效地评估图像去雾方法在各种情况下的性能。
2. Haze4K：Haze4K数据集包含4000张带有不同雾度的室内和室外图像，用于训练和测试图像去雾方法。该数据集分为训练集和测试集。Haze4K数据集的图像具有较高的分辨率和丰富的场景，可以有效地训练和评估图像去雾方法。

4.2、评价指标

3. PSNR：峰值信噪比（Peak Signal-to-Noise Ratio）是一种用于衡量图像质量的评价指标。它通过计算去雾图像与清晰图像之间的均方误差（MSE）来评估图像去雾方法的性能。PSNR的计算公式为：PSNR = 10 * log10(255^2 / MSE) 。其中，255是像素值的范围，MSE是去雾图像与清晰图像之间的均方误差。PSNR值越高，说明去雾图像的质量越好，图像去雾方法的性能也就越好。
4. SSIM：结构相似度指数（Structural Similarity Index）是一种用于衡量图像结构信息的评价指标。它通过比较去雾图像与清晰图像之间的亮度、对比度和结构信息来评估图像去雾方法的性能。SSIM的计算公式为：SSIM = (2 * μx * μy + C1) * (2 * σxy + C2) / ((μx^2 + μy^2 + C1) * (σx^2 + σy^2 + C2))。其中，μx和μy分别是去雾图像和清晰图像的平均灰度值，σx^2和σy2分别是去雾图像和清晰图像的方差，σxy是去雾图像和清晰图像的协方差，C1和C2是常数。SSIM值越高，说明去雾图像的结构信息与清晰图像越相似，图像去雾方法的性能也就越好。

4.3、实验结果

5、贡献

1. Detail-Enhanced Convolution (DEConv)
   作者提出了Detail-Enhanced Convolution (DEConv)，这是一种包含并行的vanilla和difference卷积的新型卷积方式。DEConv第一次引入差分卷积来解决图像去噪问题。传统的卷积操作主要是通过滑动窗口在输入图像上进行操作，而差分卷积则是在卷积操作中引入了差分的思想，使得卷积核在不同的位置具有不同的权重，这样可以更好地捕捉图像中的细节信息，提高去噪效果。DEConv的引入，使得模型能够更好地保留图像的细节信息，提高图像去雾的性能。

2. Content-Guided Attention (CGA)
   作者还提出了Content-Guided Attention (CGA)，这是一种创新的注意力机制。CGA为每个通道分配唯一的SIM，引导模型关注每个通道的重要区域。这样可以强调编码在特征中的更多有用信息，以有效提高去雾性能。CGA的引入，使得模型能够更加关注图像中的重要信息，忽略无关的信息，从而提高图像去雾的效果。此外，作者还将DEConv与CGA相结合，提出了DEA-Net的主要模块，即细节增强注意模块 (DEAB)。DEAB的引入，使得模型能够更好地保留图像的细节信息，同时又能关注图像中的重要信息，从而达到更好的去雾效果 。

二、CGA模块代码学习

1、空间注意力模块

class SpatialAttention(nn.Module):
    def __init__(self):
        super(SpatialAttention, self).__init__()
        self.sa = nn.Conv2d(2, 1, 7, padding=3, padding_mode='reflect', bias=True)
        # 定义一个二维卷积层self.sa，输入通道数为2，输出通道数为1，卷积核大小为7x7  
        # padding=3表示在输入数据的周围填充3个像素，保持空间尺寸不变  
        # padding_mode='reflect'表示使用反射填充方式  
        # bias=True表示卷积层使用偏置项  
        
   def forward(self, x):  
        x_avg = torch.mean(x, dim=1, keepdim=True)  
        # 计算输入x在通道维度（dim=1）上的平均值，并保持输出的维度与输入相同  
        x_max, _ = torch.max(x, dim=1, keepdim=True)  
        # 找到输入x在通道维度上的最大值，并忽略最大值的索引（用_表示）  
        # 同样保持输出的维度与输入相同  
        x2 = torch.cat([x_avg, x_max], dim=1)  
        # 将x_avg和x_max沿着通道维度（dim=1）拼接起来，得到新的张量x2  
        # 此时x2的通道数是x的两倍  
        sattn = self.sa(x2)  
        # 将x2作为输入传递给之前定义的卷积层self.sa，得到输出sattn  
        return sattn  
        # 返回计算得到的空间注意力图sattn

2、通道注意力模块

class ChannelAttention(nn.Module):  
    def __init__(self, dim, reduction=8):  
        # 初始化方法，接收输入特征的通道数dim和一个可选的通道数减少比例reduction（默认为8）  
        super(ChannelAttention, self).__init__()  
        # 定义了一个自适应平均池化层，输出大小为1x1，用于对每个通道内的所有元素进行平均  
        self.gap = nn.AdaptiveAvgPool2d(1)  
        # 定义了一个顺序模型self.ca，包含两个卷积层和一个ReLU激活函数  
        self.ca = nn.Sequential(  
            # 第一个卷积层将输入特征的通道数从dim减少到dim // reduction，使用1x1的卷积核，无填充，并使用偏置  
            nn.Conv2d(dim, dim // reduction, 1, padding=0, bias=True),  
            # ReLU激活函数对第一个卷积层的输出进行非线性变换，inplace=True表示直接在输入数据上进行修改  
            nn.ReLU(inplace=True),  
            # 第二个卷积层将通道数从dim // reduction恢复到原始的dim，同样使用1x1的卷积核和无填充  
            nn.Conv2d(dim // reduction, dim, 1, padding=0, bias=True),  
        )  
  
    def forward(self, x):  
        # 对输入x进行自适应平均池化操作，得到每个通道的平均值  
        x_gap = self.gap(x)  
        # 将池化后的结果x_gap传递给self.ca顺序模型，计算通道注意力权重  
        cattn = self.ca(x_gap)  
        # 返回计算得到的通道注意力权重  
        return cattn

3、像素注意力模块

class PixelAttention(nn.Module):  
    def __init__(self, dim):  
        super(PixelAttention, self).__init__()  
        # 定义一个二维卷积层，输入通道数为2*dim，输出通道数为dim，  
        # 卷积核大小为7x7，填充大小为3（使用reflect模式），分组数为dim，并使用偏置项。  
        self.pa2 = nn.Conv2d(2 * dim, dim, 7, padding=3, padding_mode='reflect', groups=dim, bias=True)  
        # 定义一个Sigmoid激活函数  
        self.sigmoid = nn.Sigmoid()  
  
    def forward(self, x, pattn1):  
        """  
        前向传播方法，接收两个输入：特征图x和另一个注意力图pattn1。  
        """  
        # 获取输入x的形状  
        B, C, H, W = x.shape  
        # 在x的通道维度之后增加一个新的维度，大小为1  
        x = x.unsqueeze(dim=2)  
        # 在pattn1的通道维度之后增加一个新的维度，大小为1  
        pattn1 = pattn1.unsqueeze(dim=2)   
        # 将x和pattn1在第二个维度（现在的大小为2）上进行拼接  
        x2 = torch.cat([x, pattn1], dim=2) 
        # 使用Rearrange函数对x2的形状进行重排，将通道数和第二个维度的大小合并成一个维度  
        x2 = Rearrange('b c t h w -> b (c t) h w')(x2)  
        # 将重排后的x2输入到卷积层self.pa2中  
        pattn2 = self.pa2(x2)  
        # 对卷积层的输出应用Sigmoid激活函数  
        pattn2 = self.sigmoid(pattn2)  
        # 返回计算得到的像素注意力权重pattn2  
        return pattn2  
  

---

总结

本周主要阅读了文章，DEA-Net：基于细节增强卷积和内容引导注意的单图像去雾。该论文提出了提出了一种细节增强注意力块（DEAB），该模块由一个细节增强卷积（DEConv）和一个内容引导的注意力（CGA）机制组成，使得模型能够更好地保留图像的细节信息，同时又能关注图像中的重要信息，从而达到更好的去雾效果。除此之外，我还学习学习了CGA模块的注意力代码模块的学习。下周再接再厉