Physical-Guided Restoration and Depth-Guided Refinement非配对图像去雾与物理引导恢复和深度引导细化2022

摘要：大多数现有的单幅图像去雾方法旨在从成对的合成数据中学习有监督模型，这往往限制了它们在实际应用中的泛化能力。此外，由于忽略了物理模型在恢复可视性方面的优点和深度特征在提高清晰度方面的特性，我们观察到仅依靠非配对对抗学习的迁移能力将导致低质量的恢复。为此，我们开发了一种有效的端到端不配对图像去雾方法，通过在GAN框架中集成物理引导的恢复阶段和深度引导的细化阶段，称为PDR-GAN。具体而言，在恢复阶段嵌入暗信道先验，为网络提供约束，首先生成初步去雾图像。在细化阶段，挖掘深度与透射图之间的潜在关系，更好地细化前一阶段的结果，进一步恢复远区细节。我们的框架受益于基于模型的恢复和基于特征的重建的分阶段学习策略，这对没有配对数据时的图像去雾特别有用。实验结果表明，该方法在定量和定性上都优于现有的非配对除雾方法。

背景：

为了使问题能够很好地提出，早期的基于先验的方法利用手工制作的统计数据来开发J(x)的合适解决方案，例如暗通道先验(DCP)[4]、颜色衰减先验(CAP)[5]和雾线先验(HLP)[6]。这些先验在未知基础事实的能见度恢复中具有天然优势。然而，它们并不能在所有情况下都表现良好，并且可能产生不希望的工件。

最近，针对SID出现了许多基于数据驱动的学习方法[7]-[12]，并验证了显著的性能。现有的策略分为学习估计A和t(x)，或者以监督的方式从模糊输入直接恢复J(x)。然而，这些全监督深度模型依赖于成对的合成训练数据，不能很好地模拟现实世界的退化。因此，在真实的模糊图像中，由于训练数据和测试数据之间的域转移，它们的性能会下降。

为了进一步提高处理真实雾霾图像的泛化能力，一些研究者开始转向对非配对去雾策略的探索，主要分为两类。第一种方法[13]-[17]是半监督或无监督迁移学习，它们通过利用有限的标记数据并引入辅助优化目标来提高泛化能力，从而关注域不变特征。这些方法继承了CycleGAN[18]在非配对设置方面的优势，在模糊域和无模糊域之间进行了特征级和像素级的联合自适应。由于缺乏适用于雾霾去除的监督约束，直接将现有的未对对抗框架应用于SID任务将面临约束不足和低质量恢复的问题，如图1(b)和(d)所示。鉴于雾霾图像是几个“更简单”的层的纠缠，另一种流行的方法[19]-[23]可以被视为基于物理的解纠缠问题，它试图获得干净的图像。传输图和大气光通过采用三个联合子网。然而，仅使用基于物理的模型来设计网络并不能使该方法具有鲁棒性，因为该模型只是对现实世界的粗略近似，特别是在遥远的场景中，如图1(c)和(e)所示。

此外，以前的方法往往忽略了深度线索[24]，[25]，因此在较重的雾霾干扰清晰度的偏远地区失败。事实上，深度感知特征对真实朦胧图像的去雾效果有相当大的影响。从根本上说，现有的非配对除雾方法不提供联合学习方案充分结合了物理模型在恢复能见度方面的优点和深度特征在提高清晰度方面的特性，有助于在没有配对数据的情况下进行图像去雾。

为此，我们首先将物理引导的恢复阶段和深度引导的细化阶段集成到对抗框架(称为PDR-GAN)中，以实现没有配对信息的端到端SID。值得注意的是，我们提出的PDR-GAN的训练分三个阶段进行。在第一阶段，我们先直接嵌入暗通道，然后将输入的模糊图像分解为大气光、景物和透射图。接下来，进一步恢复场景亮度和透射图的可见性，通过展开两个并行分支，首先生成初步的去雾结果。在第二阶段，我们引入了条件对抗分支，在深度信息的指导下，更好地提高了结果的清晰度。为了达到最佳的除雾效果，在第三(最后)阶段，将上述两个阶段结合多个目标函数进行联合训练和微调。图1(f)表明，我们的方法可以在近距离和远距离区域产生更清洁的结果。

我们总结了本文的贡献如下:

i)我们制定了一个有效的分阶段除雾框架PDR-GAN，该框架首先采用物理先验来恢复朦胧输入的能见度，然后使用深度特征来提高除雾结果的清晰度。

ii)建立了基于模型的恢复和基于特征的重建协同优化方案，可以帮助模型以非配对的方式训练，便于去雾泛化。

iii)在合成和真实数据集上的实验表明，我们的方法比现有的非配对除雾方法达到了最先进的性能。

模型构建：

在本节中，我们首先提出了设计的分阶段去雾框架，即物理引导恢复和深度引导细化，用于从一组未配对的模糊和干净图像中学习弱监督模型。图2展示了所提出的PDR-GAN的整体架构。此外，我们实现了多个损失函数来进一步约束我们的图2。我们开发的用于非配对图像去雾的PDR-GAN的总体架构。有两个渐进的阶段，物理引导的恢复(红蓝线)和深度引导的细化(绿线)。物理引导恢复阶段包括三个部分:物理引导分解、场景亮度恢复和透射图恢复。网络以获得更好的SID。我们在下面描述我们开发的算法的细节。

图2所示。我们开发的用于非配对图像去雾的PDR-GAN的总体架构。有两个渐进的阶段，物理引导的恢复(红蓝线)和深度引导的细化(绿线)。物理引导恢复阶段包括三个部分:物理引导分解、场景亮度恢复和透射图恢复。 

A.物理引导恢复阶段

  给定一组未配对的模糊图像I和干净图像C作为输入，我们的物理引导恢复阶段旨在从基于物理的可训练模型中恢复初步去雾结果J。参考文献[9]、[19]、[26]，雾霾过程的物理模型可以有效地约束网络。第一阶段的流程主要包括物理引导分解、场景亮度恢复和透射图恢复三个部分。与基于层解纠缠构建三个估计子网络不同[19]，[21]，[23]，我们直接将物理模型作为初始分解部分嵌入到网络中。与[22]类似，采用DCP[4]生成大气光A、场景辐射S和透射图t。与其他物理先验算法相比，DCP可以获得更好的初步结果，简化了我们框架第二阶段的细化任务[22]。由于DCP可以恢复可见性，但也会引入意想不到的伪影，我们进一步恢复场景亮度和透射图，通过开发两个并行分支来获得S∗和T∗。如图2所示，第一级的输出是由下式计算得到的初步去雾图像

 为了确保网络以无监督的方式更新，我们引入了一个额外的鉴别器D1，它接收S *或C来进行非配对对抗学习。

网络结构。两个并行分支的总体架构基于CycleGAN[18]，场景亮度恢复分支中基于resnet[27]的9个残块生成器，传输图恢复分支中基于U-Net[28]的8个下采样和上采样卷积层。D1是一个有5个卷积层的CNN。

损失函数。采用混合损失函数，包括对抗损失、重建损失和单位损失。

1)对抗性损失:为了保证生成的图像看起来更真实，我们将对抗性损失定义为:

2)重构损失:我们利用重构损失对原始模糊图像与恢复图像之间的不匹配进行编码，可以表示为: 

3)恒等损失:为了进一步保持输入输出之间的颜色不变性等恒等信息，我们增加了恒等保持损失。它的定义是，

 在上述所有损失项下，恢复阶段的总损失函数为

其中默认权重λ1设置为0.02。

B.深度引导细化阶段

深度特征学习旨在从单目(即单目)或双目图像中恢复深度信息[25]，这对于户外应用尤为重要。最近，[24]、[29]、[30]的研究表明，深度引导特征也可以改善低层次视觉性能，如图像脱噪和去雾。利用深度信息来指导干净的图像重建是直观的。

受[30]的启发，我们进一步引入细化网络作为第二阶段，以确保我们的模型也能聚焦于远处的场景。首先，我们利用恢复阶段产生的T *，并将其转换为相对深度图:

 

然后，计算归一化深度图−log(T∗)与鉴别器D2的第6个convr - relu块的特征F之间的MSE损失:

 

最后，我们使用学习到的深度图来测量前一层的特征，并将它们乘以元素:

网络结构。在细化阶段，生成器网络由13个convr - relu块组成，鉴别器网络由9个convr - relu块组成，后面是两个全连通层。

 损失函数。在这里，我们采用MSE和感知损失共同约束生成网络，具体如下:

 

其中λ2 = 1， λ3 = 8，感知损失在ImageNet上预训练的VGG-16[31]上实现。

对于鉴别器网络，我们使用GAN损失和深度特征损失，它们可以表示为

 

C.分阶段训练和微调

值得注意的是，我们将训练过程分为三个阶段，而不是一起训练整个网络。与[9]，[32]类似，我们观察到从一开始训练整个框架会减慢收敛速度，并且训练会陷入坏的局部极小值。由于每个阶段需要不同的目标函数，一起训练可能会将模型推向不同的方向，产生较小的梯度值。

因此，我们用相应的目标函数分别训练第一阶段的恢复和第二阶段的细化。在第三阶段，通过组合多个目标函数对上述两个训练好的网络进行微调。除此之外，这种以较低学习率进行的微调是为了在不同阶段之间引入细粒度的依赖关系。最终，这种分阶段学习策略使我们的模型获得最佳的除雾性能。

结论：在本文中，我们提出了一种有效的分阶段框架PDR-GAN非配对图像去雾。在第一个恢复阶段，嵌入物理先验以产生更好的能见度恢复的初步结果。在二次细化阶段，我们利用深度与透射图之间的关系来提高清晰度。在合成和真实世界雾霾数据集上的实验结果表明，我们的方法优于其他最先进的非配对除雾方法。在未来的工作中，我们将探索更多低层次视觉任务的其他有效解决方案。