FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

论文链接：https://arxiv.org/pdf/1911.07559v2.pdf

代码链接：https://github.com/zhilin007/FFA-Net

目录

论文链接：https://arxiv.org/pdf/1911.07559v2.pdf

代码链接：https://github.com/zhilin007/FFA-Net

摘要

Fusion Feature Attention Network (FFA-Net)（融合特征注意网络）

Feature Attention (FA) （特征注意）

Basic Block Structure 

 Group Architecture and Global Residual Learning(组结构和全局剩余学习)

Feature Fusion Attention

Loss Function

Implementation Details

---

摘要

本文提出了一种端到端的特征融合注意网络(FFA-Net)来直接恢复无雾图像。FFA-Net架构包括三个关键组件:1)考虑到不同的通道特征包含完全不同的加权信息，并且雾度分布在不同的图像像素上是不均匀的，新颖的特征注意(FA)模块将通道注意与像素注意机制相结合。FA不平等地对待不同的特征和像素，这在处理不同类型的信息时提供了额外的灵活性，扩展了CNN的表示能力。2)基本块结构由局部残差学习和特征关注组成，局部残差学习允许通过多个局部残差连接绕过较不重要的信息，如薄雾霾区域或低频，让主网络架构专注于更有效的信息。3)基于注意力的不同层次特征融合(FFA)结构，特征权重自适应地从特征注意力(FA)模块学习，给予重要特征更多的权重。这种结构还可以保留浅层的信息，并传递到深层。

先前的基于CNN的图像去雾网络同等地对待通道式和像素式特征，但是雾在图像上分布不均匀，非常薄的雾的权重应该与厚雾区域像素的权重显著不同。此外，DCP还发现，一些像素在至少一个颜色(RGB)通道中具有非常低的亮度是非常常见的，这进一步说明不同的通道特征具有完全不同的加权信息。如果我们平等地对待它，它将在不重要的信息上花费大量的资源进行不必要的计算，网络将缺乏覆盖所有像素和通道的能力。最后，它将极大地限制网络的代表性。

本文进一步设计了一个新颖的特征注意(FA)模块。FA模块分别在通道方式和像素方式特征中组合通道注意力和像素注意力。FA不平等地对待不同的特征和像素，这可以在处理不同类型的信息时提供额外的灵活性。

本文采用跳跃连接和注意机制的思想，设计了一个由多个局部剩余学习跳跃连接和特征注意组成的基本块。一方面，局部残差学习允许通过多次局部残差学习忽略薄雾霾区域的信息和低频信息，使得主网络学习到更多有用的信息。通道注意力进一步提高了FFA-Net的性能。

随着网络越走越深，浅层的特征信息往往难以保存。为了识别和融合不同级别的特征，U-Net和其他网络努力整合浅层和深层信息。本文提出了一种基于注意力的特征融合结构(FFA ),这种结构可以保留浅层信息并将其传递到深层。最重要的是，在将所有特征送入特征融合模块之前，FFA-Net对不同级别的特征赋予不同的权重，权重是通过FA模块的自适应学习获得的。这比那些直接指定权重的要好得多。

本文贡献：

（1）针对单幅图像去雾，提出了一种新的端到端特征融合注意力网络FFA-Net。FFA-Net大大超越了以前最先进的图像去雾方法，在有厚雾和丰富纹理细节的区域表现尤为突出。在图像细节和色彩保真度的恢复方面也有较大的优势。

（2）本文提出了一种新的特征注意模块，它结合了通道注意和像素注意机制。该模块在处理不同类型的信息时提供了额外的灵活性，将更多的注意力集中在厚雾像素和更重要的通道信息上。

（3）我们提出了一个由局部残差学习和特征注意(FA)组成的基本块，局部残差学习允许通过多次跳跃连接绕过薄雾霾区域的信息和低频信息，特征注意(FA)进一步提高了FFA-Net的能力。

（4）本文提出了一种基于注意力的特征融合(FFA)结构，这种结构可以保留浅层信息并传递到深层。此外，它不仅能融合所有特征，还能自适应地学习不同层次特征信息的不同权重。最后，它取得了比其他特征融合方法更好的性能。

Fusion Feature Attention Network (FFA-Net)（融合特征注意网络）

如图2所示，FFA-Net的输入是一个模糊图像，它被传递到一个浅层特征提取部分，然后被馈送到具有多个跳跃连接的N个群结构，N个群结构的输出特征通过我们提出的特征关注模块融合在一起，之后，这些特征将最终被传递到重构部分和全局剩余学习结构，从而得到一个无模糊的输出。

此外，每个分组结构都结合了B基本块结构和局部剩余学习，每个基本块都结合了跳跃连接和特征注意模块。FA是由通道注意和像素注意组成的注意机制结构。

Feature Attention (FA) （特征注意）

大多数图像去雾网络平等地对待通道级和像素级特征，不能处理具有不均匀雾分布和不同权重的通道级的图像特征。我们的特征注意(见图3)由通道注意和像素注意组成，这可以在处理不同类型的信息时提供额外的灵活性。

FA对不同的特征和像素区域并不等价，这为处理不同类型的信息提供了额外的灵活性，扩展了细胞神经网络的表征能力。关键的步骤是如何为每个通道方式和像素方式的特征生成不同的权重。我们的解决方案如下

Channel Attention (CA) 我们的通道注意力注意到关于不同的DCP不同的通道特征有完全不同的权重的信息。首先，通过使用全局平均池化，我们将基于通道的全局空间信息引入通道描述符中。

（i,j)表示在第c个通道位置（i，j）的值，是全局池化函数，特征图的形状从C×H×W到C×1×1变化 。为了获得不同通道的权重，特征通过两个卷积层和sigmod，之后RELU激活函数。

 分别代表sigmoid和ReLu

最后，我们将输入和通道的权重C按元素相乘

Pixel Attention (PA) (像素注意) 考虑到雾在不同图像像素上的分布是不均匀的，我们提出了一个像素关注度(PA)模块，使网络更多地关注信息特征，如雾霾较重的像素和高频图像区域。

类似于CA，我们使用ReLu和sigmoid激活函数直接将输入(CA的输出)馈入两个卷积层C×H×W变为1×H×W

最后，我们对输入和PA使用逐元素乘法，是特征注意(FA)模块的输出。 

Basic Block Structure 

如图6所示，基本块结构由局部残差学习和特征注意(FA)模块组成，局部残差学习允许通过多个局部残差连接绕过较不重要的信息，如薄雾霾或低频区域，主网络聚焦于有效信息。

实验结果表明，其结构能进一步提高网络性能和训练稳定性，局部残差学习的效果如图7所示

 Group Architecture and Global Residual Learning(组结构和全局剩余学习)

我们的组结构结合了B基本块结构和跳跃连接模块。连续的B块增加了FFA网的深度和表现力。和跳跃连接使得FFA-Net避开了训练困难。在FFA-Net的末尾，我们使用两层卷积网络实现和一个长捷径全局残差学习模块添加了一个恢复部分。最后，我们恢复我们想要的无雾图像。

Feature Fusion Attention

首先我们在通道方向上连接G组架构输出的所有特征映射。此外，我们通过乘以由特征注意机制获得的自适应学习权值来融合特征。由此，我们可以保留低层信息并将其传递到深层，由于权重机制，我们让FFA-Net更加关注厚霾区域、高频纹理和颜色保真度等有效信息。

Loss Function

损失

为FFA-Net的参数，为ground truth，代表输入。

Implementation Details

G的数目是3。在每个组结构中，我们设置基本块结构数量B= 19。除了核大小为1×1的通道注意，我们将所有卷积层的滤波器大小设置为3×3。除了频道关注模块之外，所有特征图保持大小固定。每个组结构输出64个滤波器。