面向域不变的单幅图像去雾（Towards Domain Invariant Single Image Dehazing_AAAI_2021）

概述

        图像中存在的雾霾会掩盖底层信息，这在需要准确环境信息的应用中是不希望的。 为了恢复这样的图像，去雾算法应该定位和恢复受影响的区域，同时确保恢复的区域与其相邻区域之间的一致性。 然而，由于卷积核的固定感受野和不均匀的雾度分布，很难保证区域之间的一致性。在本文中利用基于编码器-解码器的网络架构来执行去雾任务并集成空间感知通道注意机制，以增强感兴趣的特征，使其超出传统内核的感受域。 为了确保在各种雾度密度范围内的性能一致性，我们利用了贪婪的本地化数据增强机制。 合成数据集通常用于确保大量成对的训练样本，但是生成此类样本的方法会在它们与真实图像之间引入差距，同时仅考虑均匀的雾度分布，并忽略更现实的非均匀雾度分布场景，从而导致去雾效果不佳 在真实数据集上评估时的性能。 尽管如此，合成数据集中的大量配对样本也不容忽视。 因此，为了确保跨不同数据集的性能一致性，我们在一个对抗性先验引导框架内训练所提出的网络，该框架依赖于生成的图像及其低频和高频分量来确定去雾图像的属性是否与地面实况相匹配。

主要贡献

        为了克服不同雾度分布和域差异的双重挑战。 在本文中提出了一个实现域和分布不变的去雾框架的框架。 我们首先专注于在不受雾霾分布影响的情况下实现一致的性能，并强调将受雾霾影响的区域定位为有效除雾的必要步骤的重要性。 为了获得这些特征，我们专注于底层 CNN 的数据增强和架构。 具体来说，为了在合成样本上生成不均匀的雾度分布，我们利用 (Shyam et al. 2020) 中提出的贪婪局部数据增强，将多个不同形状和大小的补丁从噪声图像复制到相应的配对干净图像上以生成不均匀 噪声补丁。 出于我们的目的，这种方法会导致产生不均匀的雾度。 为了准确恢复受未知雾度分布影响的图像区域，我们利用基于 UNet (Ronneberger, Fischer, and Brox 2015) 的编码器-解码器框架，将不同尺度的特征聚合和表示到更高阶的潜在空间中，该空间随后被解码器用来重建无雾图像。 为了确保恢复的补丁与相邻像素之间的信息和颜色一致性，我们使用我们提出的空间感知通道注意机制聚合来自多个尺度的特征，并将这些特征融合到编码器获得的特征编码中。

        受到 前者的启发，这些观察强调了由于 CNN 对图像中的高频 (HF) 分量的敏感性而产生的域间隙，以及对抗性训练通过关注样本中的可概括模式来结合域不变特性的能力。 本文提出了基于先验的双重鉴别器，它使用低频（LF）和高频分量以及相应的去雾图像来确定恢复图像和地面实况之间的相似性。 因此，将我们的贡献总结为

• 提出一种端到端的去雾算法，使用CNN架构中的空间感知通道注意机制直接恢复受未知雾度分布影响的图像，以确保恢复像素和相邻像素之间的特征增强和一致性。
• 集成局部增强技术，以确保网络学会识别和恢复真实和合成图像中受雾霾影响的区域。
• 进行详尽的实验以突出在合成数据集和真实数据集上训练的网络之间的性能不一致，并将其归因于薄雾建模。
• 为了确保合成数据集和真实数据集的性能一致，引入了基于先验的对抗性训练机制，该机制利用图像中的 LF 和 HF 分量来确保在恢复的图像中保留颜色和结构特性。

网络模型

        所提出框架的整体结构由两部分组成，即贪心数据增强和包含去雾和鉴别器网络的对抗性训练框架。 

        为了恢复受雾霾影响的区域，我们建立在编码器解码器架构 UNet 之上。 所提出的去雾网络的编码器的任务是使用 4 个卷积块（conv-blocks）将噪声输入图像表示到一个潜在空间中，这些卷积块在不同尺度上提取相关特征。 每个 convblock 代表 2 条大小为 3 × 3 的卷积滤波器链、批量归一化层和 ReLU 激活函数。 在每个卷积块之后执行最大池操作，以聚集特征，同时增加后续卷积块的感受野大小。 为了重建无雾图像，使用了 4 个升级块，每个块包括像素混洗层 (Shi et al. 2016)，然后是大小为 3 × 3 的卷积滤波器、批量归一化和 ReLU 激活。 在编码器的每个级别获得的特征通过长跳跃连接与解码器端相应级别的特征连接。 这确保了在早期层中提取的细粒度特征存在于无噪声图像中，有助于保持图像中存在的对象的边界属性。 解码器的结果被传递到滤波器大小为 1 × 1 的卷积层。 

贪婪的本地化数据增强 

        在现实环境中，图像中不同区域的雾度变化很大。 然而，合成数据集在提供大量配对样本的同时无法解释这种非均匀变化，导致在这种情况下恢复不准确。 克服这种情况的一种简单方法是增加数据集以考虑这些变化，这是昂贵且耗时的。 因此，为了针对如此多样化的场景训练网络，我们利用 (Shyam et al. 2020) 中提出的贪婪局部数据增强技术在干净的图像中生成随机形状和大小的小模糊块，并让 CNN 恢复这些受影响的图像。 这允许利用真实和合成数据集进行均匀和非均匀去雾。 

空间感知通道注意 机制(SACA)

        显然这种编码器-解码器架构倾向于处理均匀的雾度分布。 在非均匀雾度的情况下，受影响的区域可能会超出卷积核的感受野，导致沿着不同尺度的编码器提取弱表示。 因此，需要基于雾度分布动态调整感受野以包含相关特征。 为此，我们提出了一种空间感知通道注意机制，该机制包括非局部操作 (Wang et al. 2018)，然后是通道注意机制。 非局部操作允许捕获跨空间维度的远程依赖关系，而通道注意机制过滤特征图中的重要通道。 添加通道注意机制有助于降低计算成本，从而允许以不同规模部署此类块。 通道注意机制（图 3）是使用 1×1 卷积、全局平均池和 softmax 激活层构建的，通过放大相关通道同时抑制不相关通道来工作。 为了最大化空间感知通道注意层的效果，我们将它们放置在长跳跃连接中，并证明这种设计选择是合理的，通过细化与特定比例相对应的完整特征图而不修改 conv 中的特征来确保长跳跃连接携带相关的局部特征 - 编码器中的块。 通过执行最大池操作（不同大小）以匹配特征图大小，并强调这种机制允许通过连接附加特征来丰富特征空间，从而将来自每个 SACA 块的最终细化特征包含到最终嵌入表示中。

空间感知通道注意机制 

 基于频率先验的对抗训练鉴别器

        合成和真实雾霾样本之间的域差距会对底层去雾算法的性能产生不利影响（表 1）。 因此，为了获得域不变的去雾算法，我们利用频域并提出了一种基于频率先验的鉴别器，该鉴别器依赖于图像的高频和低频分量来确定恢复的图像是否与地面真实情况匹配。 鉴别器架构由 6 个卷积块组成，产生多维输出，类似于 Patch-GAN (Isola et al. 2017)，patch 大小为 64。我们使用两个具有相同架构但使用不同频率先验的独立鉴别器 以获得不同的权重集。 我们的设计选择基于两个观察结果

1. HF 组件涵盖边缘信息，而 LF 组件涵盖结构和颜色信息。 在这种情况下，LF 分量的强度将大于 HF 分量，这可能导致 LF 分量在对抗过程中变得更加重要。
2. (Wang et al. 2020)早期优化过程中的亮点 LF 组件是由于损失表面的更陡峭下降而学习的。

        这些观察使我们倾向于引入两个鉴别器，以避免一个组件过度依赖另一个组件，同时优化整个框架。 监控优化过程可以确定 LF 和 HF 分量都被学习。 为了训练判别器，对于给定的图像，我们首先分别使用拉普拉斯和高斯滤波器（分别为滤波器大小 3 和 7）提取其高频和低频分量，并将它们与原始图像连接。 为了确保标准像素比例，我们在连接之前对 HF 分量进行归一化。 因此，对于给定的一对模糊 IN 及其对应的去雾图像 IR，去雾网络估计去雾图像 G(IN)。 对应的 LF (LF(.)) 和 HF (HF(.)) 分量被提取并连接起来，得到 ([IR, LF(IR)], [IR,HF(IR)] 和 ([G(IN),  LF(G(IN))], [G(IN),HF(G(IN))] 基于先验的样本。这些样本用作相应的低频和高频鉴别器的输入，将它们分类为真假。 因此，在训练鉴别器时将遵循最小-最大优化周期。

        虽然FFT可以在图像或灰度图像的每个单独通道上单独计算，但在通道上 也可。

框架优化

        为了训练提出的框架，我们遵循标准的 GAN 方法，其中去雾算法和鉴别器交替优化。 去雾算法的优化函数由 L1、SSIM (Wanget al. 2004) 和感知损失 (Johnson, Alahi, and Fei-Fei 2016) 以及双重对抗损失组成。

        为了训练所提出的框架，我们遵循标准的GAN方法，其中去叠算法和鉴别器交替优化。dehazing算法的优化函数由L1、SSIM（Wanget al.2004）和知觉（Johnson、Alahi和Fei Fei 2016）损失以及双重对抗损失组成。其中λ1、λ2为损耗平衡项。 

实验结果

        在 NTIRE-19 数据集上训练和评估时不同去雾算法的性能