论文笔记：FFA-Net Feature Fusion Attention Network for Single Image Dehazing

摘要

作者提出了一种端到端的特征融合注意力网络(FFA-Net)来直接恢复无雾图像。FFA-Net架构由以下三个主要部分组成:

（1）提出了一种新的特征注意(Feature Attention，FA)模块，该模块将通道注意机制与像素注意机制相结合，考虑到不同的宽度通道特征所包含不同的加权信息，且不同图像像素上的雾霾分布不均匀。FA对不同的特征和像素的处理是不平等的，这为处理不同类型的信息提供了额外的灵活性，提高了CNNs的表达能力。

（2）基本块结构由局部残差学习和特征注意力机制组成，局部残差学习允许较不重要的信息（如薄雾区域或低频区域）通过多个局部残差连接被绕过，让主网络架构关注更有效的信息。

（3）基于注意的不同层次特征融合(FFA)结构，特征权重自适应地从特征注意(FA)模块学习，赋予重要特征更多的权重。这种结构还可以保留浅层的信息并将其传递到深层。

论文代码地址

1. Introduction

1.1 单图像去雾(Single image dehazing)的目的是从有雾的输入中恢复干净的图像， 根据物理散射模型，通常将雾化过程公式被定义为：

其中，$I(z)$和$J(z)$分别表示雾化图像和干净图像，A是全球大气光照(global atmosphere light)，$t(x)$是透射图（transmission map）。 透射图可以表示为$t(z)$= $e^{-\beta d(z)}$，其中$d(z)$和β分别表示场景深度和大气散射参数。 给定一个模糊的图像$I(z)$，大多数除雾算法都尝试估计$t(z)$和A，公式（1）也可以表示为：

• 与传统方法相比，深度学习方法试图直接对中间传输图(intermediate transmission map)或最终无霾图像( the final haze-free image)进行回归。 随着大数据的应用，它们以健壮性获得了优异的性能。本文提出了一种新的用于单图像去雾的端到端特征融合网络（简称FFA网络）。
• 以前基于CNN的图像去叠网络对通道和像素特征的处理是一样的，但是薄雾在图像中的分布是不均匀的，薄雾的权重应该与厚雾区域像素的权重明显不同。DCP还发现，在至少一个颜色（RGB）通道中，一些像素具有非常低的强度是非常常见的，这进一步说明了不同的通道特征具有完全不同的加权信息。
• 作者进一步设计了一个新颖的特征注意力（Feature Attention, FA）模块。FA模块在信道和像素特征上分别结合了信道注意力机制和像素注意力机制。 FA不平等地处理不同的特征和像素，这可以在处理不同类型的信息时提供额外的灵活性。
• ResNet的出现使得训练一个非常深的网络成为可能。 我们采用跳过连接（skip connection）的思想和t特征注意力机制（feature attention），设计了一个由多个局部残差学习跳过连接和特征注意力组成的基本块。一方面，局部残差学习可以通过多个局部残差学习绕过薄雾区域和低频信息，使主网络学习到更多有用信息。而信道注意力机制（channel attention）进一步提高了FFA网络的性能。

1.2 本文的贡献是以下四点：

（1）提出了一种新的用于单图像去雾的端到端特征融合注意力网络FFA网络。 FFA网络在很大程度上超越了以往最先进的图像去叠方法，尤其在雾度大、纹理细节丰富的区域表现尤为突出。如图一和图八所示。

（2）提出了一种新的特征注意力（Feature Attention, FA）模块，它结合了通道注意力和像素注意力机制。 该模块在处理不同类型的信息时提供了额外的灵活性，更加关注浓雾的像素和更重要的通道信息。

（3）提出了一个由局部残差学习和特征注意力（Feature Attention, FA）组成的基本块，局部残差学习允许通过多跳连接绕过薄雾区域和低频信息，特征注意力（Feature Attention, FA）进一步提高了FFA网络的能力。

（4）提出了一种基于注意力的特征融合（FFA）结构，这种结构可以保留浅层信息并将其传递到深层。此外，它不仅能融合所有特征，而且能自适应地学习不同层次特征信息的不同权重。

图一

2. Related Work

3. Fusion Feature Attention Network (FFA-Net)

• 如图二所示，特征融合注意力网络FFA-Net的输入是一个有雾的图像，它被传递到一个浅层特征提取部分，然后被输入到N组具有多个跳跃连接的群结构中，然后N 组结构的输出的特征图通过作者提出的的特征注意模块融合在一起，这些特征最终传递到重构部分和全局残差学习结构，从而得到无雾输出。
• 此外，N组结构中的每一组结构都将B个基本块结构与局部残差学习相结合ÿ