Towards Perceptual Image Dehazing by Physics-Based Disentanglement and Adversarial Training（2019）

摘要：

        通过基于物理的解缠结和对抗训练实现感知图像去雾

        以前的方法使用各种手工设计的先验或通过对合成模糊图像对的有监督训练来解决这个问题。然而，在实践中，预定义的先验很容易被违反，并且配对的图像数据无法用于监督训练。 在这项工作中，我们提出了一个端到端的去雾网络，它只使用非配对监督来生成真实感的无雾图像。 我们的方法通过引入基于物理模型的解纠缠和复原机制来缓解配对训练的约束。 采用多尺度对抗性训练生成感知无雾图像。 在合成数据集上的实验结果表明，在PSNR、SSIM和CIEDE2000方面，我们与现有方法相比具有更好的性能。 通过对我们收集的HazyCity数据集的纯天然无霾和朦胧图像的训练，我们的模型可以产生更有感知吸引力的除霾结果

去雾方法：

        一个有效且实用的去雾模型应该能够在不使用配对监督的情况下学习从有雾图像到无雾图像的映射。此外，去雾图像应该在感知上与人类感知的无雾图像一致。在本文中，提出了分离去雾网络，这是一种满足上述标准的新型弱监督模型。如图1所示，我们的模型引入了一种基于物理模型的解纠缠和重建机制：首先将模糊图像输入通过三个生成器网络解开为场景辐射度、介质传输和大气光三个隐藏因素；然后将这些因素结合起来，使用大气散射模型重建原始输入。隐藏因素也受到对抗性损失和正则化的限制。整个框架与 CycleGAN和AIGN (Tung et al. 2017) 具有相似的想法，通过利用来自后向/渲染过程的反馈信号来缓解配对训练的限制。与他们的方法相比，我们的解缠结机制使我们能够对不同的隐藏因素引入单独的约束并学习物理上有效的模型。

        我们提出的解纠缠去雾网络为现实场景中的图像去雾提供了一种新的视点，我们称之为感知去雾。 以往的方法将雾霾去除视为一个图像恢复过程，并试图完全恢复原始场景的辐射，不同于此，我们的目标是生成视觉上令人愉快的无雾图像。 事实上，在大多数实际场景中，还原真实的场景亮度不仅具有挑战性，而且没有必要。 首先，室外场景的图像可以包含异质大气、复杂场景和乱集资照度（见图4中的示例），这使得对真实介质传输的估计不可靠。 其次，彻底去除阴霾会造成不自然的图像，因为阴霾的存在是人类感知深度的线索(He，Sun和Tang 2011）。 因此，我们的目标是产生感知上令人满意的去雾效果，符合人类感知的无雾图像的分配。 

主要贡献：

• 我们提出了一种新的基于解纠缠网络的图像解纠缠方法，该方法通过对抗过程训练并执行基于物理模型的解纠缠。
• 我们为图像去雾研究收集了一个具有挑战性的数据集，其中包含 800 多张自然朦胧图像和 1000 张户外场景的无雾霾图像。
• 我们通过在合成和真实图像数据集上的大量实验来评估感知图像的去雾

提出的方法：

        我们的方法不依赖任何外部算法或配对数据进行额外监督，分离的成分仅受对抗性损失和先验知识的约束。 

        我们将感知图像去雾问题转化为一个未配对的图像到图像的转换问题，其中源域（hazy）中的图像映射到目标域（hazy-free），没有任何配对信息。这个问题具有挑战性，因为如果没有成对的监督，模型可以学习到目标域的任意映射，并且不能保证将单个输入映射到其期望的输出。之前的工作通过引入一个额外的反向生成器来生成原始输入来解决这个问题。虽然这些方法可以应用于我们的任务，但我们发现它们无法解决霾带来的模糊性，即它们无法区分光衰减的效果和原始场景的辐射。为了更好地模拟模糊图像的形成，我们提出通过引入基于物理模型的解纠缠和重建来解决未配对的图像对图像问题。

        图1（b）显示了我们方法的总体框架。考虑到两组未配对图像（模糊和无模糊）作为（弱）监督，我们的目标是学习一个模型，该模型可以在物理模型的约束下将模糊输入分解为隐藏因素。隐藏因素进一步受到对抗性训练程序和基于先验的正则化的约束。我们的方法有利于非配对训练，原因如下：1）它可以对不同的分离因素进行单独的约束/先验。2） 可以联合优化不同的生成器，以实现最佳解纠缠。3） 重建过程在物理上是有效的，并对生成过程提供了更严格的约束。

        受大气散射模型的启发，将输入的模糊图像分解为三个隐藏因子：场景辐射、透射图和全球大气光。然后使用公式组合这三个分量，以重建原始模糊图像。形式上，让我们将和表示为分别对应于hazy图像和haze-free图像的两组训练样本。我们的模型首先使用三个生成器执行解纠缠：、和。然后将这三个分量合成以重构原始输入：，其中表示元素乘法。

        我们的目标函数包含三项：重建损失、对抗损失和正则化损失。我们使用传统的L1损耗作为重建损耗，以鼓励像素级的一致性和更少的模糊（与L2损耗相比）：

         为了生成令人愉悦和无雾的图像，我们为中间输出 引入了多尺度对抗训练程序。具体来说，当训练多尺度鉴别器 D 以检测图像是“真实的”还是“假的”时，生成器 被训练为“欺骗”鉴别器。与生成对抗网络 (GAN) 中的设置相同，这里的“真实”数据是指从目标域采样的图像（无雾图像），“假”数据是指从源域（模糊图像）。经典的 GAN 损失可以描述为：

        我们使用补丁级鉴别器来区分真假图像。与他们选择妥协的感受野大小（RFS）来平衡结果的清晰度和伪影之间的权衡的方法不同，我们建议使用结合了局部鉴别器（小 RFS）和全局鉴别器的多尺度鉴别器。鉴别器（大 RFS）。虽然局部鉴别器专注于对有利于纹理/样式识别的高频结构进行建模，但全局鉴别器可以结合更多的全局信息并减轻平铺伪影。我们的多尺度鉴别器结合了两个世界中最好的，如图 2 所示。 

        因此，我们的多尺度对抗性损失为：

        解开的无雾图像的生成由先前的对抗性损失进行了正则化。对于解开的传输图，我们引入先验作为正则化。在各种已知的先验中，我们研究了简单而有效的选择：介质传输图的平滑度。在数学上，我们使用 t 的传统总变化作为正则化损失： 

我们最终的目标函数是： 

 我们通过以下方式优化目标：

 恢复无雾图像

         使用训练好的模型，我们可以将一张模糊图像解开为三个对应的分量，并获得两个恢复的场景辐射。

        第一个是直接从生成器 的输出中获取，我们记为。第二个，表示为 ，可以使用估计的透射图 和大气光 根据等式（1）的重新表述获得：

        继 (Cai et al. 2016) 之后，我们在恢复期间对估计的传输图 ^t 应用引导图像滤波 (He, Sun, and Tang 2013)，以引入进一步的平滑整形边缘。 

        我们解开的生成器可以提供去雾过程的不同观点。具体来说，生成器 GJ 倾向于生成具有更多纹理细节和感知上更清晰的雾霾图像，因为它被训练为学习到无雾图像的映射。然而，由于上采样和不稳定的对抗训练，GJ 的输出可能包含不希望的伪影，并且容易受到模糊区域中噪声的影响。另一方面，由于使用了引导图像过滤，从生成器 Gt 的输出导出的 ^Jt 更加平滑和视觉上令人愉悦。但这可能导致低估图像的雾度水平。

                使用这两个从不同方面恢复的场景辐射，我们通过混合两个恢复的图像来生成我们的输出无雾图像

         混合对雾度较小的区域保留了更多的细节，并保证了雾度较重的区域内的平滑度。在消融研究中分析了不同的恢复选择。除非另有说明，否则我们在所有实验中报告恢复的 的结果。        

实验结果

         NYU-Depth 数据集上的平均 PSNR、SSIM 和 CIEDE2000 结果

         平均PSNR，SSIM和CIEDE2000在跨区Middlebury数据集上的结果。