Curricular Contrastive Regularization for Physics-aware Single Image Dehazing

提出了一种新的对比正则化方法，旨在解决现有方法中存在的问题。传统方法中使用的负样本通常与清晰的正样本图像相距较远，导致解空间受限。为了改进这一点，提出了一种新的对比正则化方法，利用了更接近正样本的负样本信息，这些负样本包括原始有雾图像以及其他现有方法生成的还原图像。为了处理不同负样本之间的学习难度不平衡的问题，使用了课程学习策略来调整负样本的重要性。此外，为了提高特征空间中的可解释性，引入了一个基于大气散射模型的物理感知双分支单元。结合这个单元和课程对比正则化方法，提出了名为C2PNet的去雾网络。大量实验证明，C2PNet在SOTS-indoor和SOTS-outdoor数据集上显著优于现有方法，分别取得了极大的PSNR提升，分别为3.94dB和1.50dB

Code is available at ： https://github.com/YuZheng9/C2PNet.

1. Introduction

作为一种常见的大气现象，雾霾显著降低了拍摄图像的质量，严重限制了随后的高级视觉任务的性能，比如车辆重新识别[7]和场景理解[35]。与其他图像恢复任务解决方案的出现类似[12,13,39,43]，有效的图像去雾技术对于处理基于视觉的应用至关重要。

基于深度学习的方法在单幅图像去雾领域取得了巨大成功，大致可分为两类：无物理模型方法[5,10,17,24]和物理感知方法[4,8,11,34]。对于前者，大多数通常利用地面真实图像及其预测的恢复结果，强制使用L1/L2距离一致性，并采用各种正则化方法[29, 42]作为额外约束来应对不适定性质。需要注意的是，所有这些正则化方法都忽略了负图像作为下界的信息。对比正则化（CR）[40]被提出，以将不同有雾图像作为负样本，地面真实图像作为正样本，并进一步使用对比学习[19, 20]来确保一个封闭的解空间。此外，研究表明，当使用更多的负样本时，可以实现更好的性能，因为包含了多样化的退化模式作为线索。然而，问题在于这些负样本的内容与正样本不同，并且它们的嵌入可能相距太远，导致解空间仍然受限 

这个问题的解决方案之一是利用共识对比空间中的负样本（见图1的下部面板），作为更好的下界约束。这些负样本可以很容易地由有雾输入图像和其他现有方法生成的对应恢复图像组装而成。在这种情况下，与非共识空间中的负样本相比，这些负样本可以更“接近”正样本，因为这些负样本的多样性更与雾（或雾残留）相关，而不是与其他语义相关。然而，当负样本的嵌入与正样本过于接近时，就会出现困境，因为负样本对锚点（即预测值）的推动力可能会抵消正样本的拉动力。这种学习困难会使锚点混淆，尤其是在早期训练阶段，使其偏向于朝向正样本移动。

这段描述了图1的上部面板的实验。研究使用FFA-Net [33]作为基线（行（a）），并使用SOTS-indoor [28]作为测试数据集，来探索共识空间中不同难度的负样本对模型性能的影响。具体来说，将负样本的难度定义为三个级别：易（E）、难（H）和超难（U）。将有雾输入作为易负样本，并采用一个粗略策略来区分后两种类型，即负样本的PSNR是否大于30。首先，在单负样本情况下（行（b）-（d）），有趣的发现是，使用难样本作为负样本的性能最佳，相比其他两种设置效果更好，而使用超难负样本甚至比基线还差。这表明“接近”的负样本有潜力促进去雾模型的有效性，但由于学习难度的原因，并非越接近越好。而在多负样本情况下（行（e）-（g）），我们观察到全面覆盖不同难度级别的负样本，包括超难样本，可以实现最佳性能。这意味着不同难度级别的负样本都可以对训练阶段有所贡献。这些观察结果促使我们探索如何在训练中明智地安排共识空间中的多个负样本对进入对比正则化过程。

转到物理感知深度模型领域，其中大多数模型在原始空间中使用大气散射模型[31，32]，而没有充分探索有益的特征级信息。PFDN[11]是唯一一项试图将物理模型表示为网络中的基本单元的工作。该单元被设计为一个共享结构，用于预测与大气光和透射图相对应的潜在特征。然而，前者通常被认为是齐次的，而后者是非齐次的。因此，它们的特征不能用同样的方法近似。因此，如何利用物理模型准确实现深度网络特征空间的可解释性仍然是一个悬而未决的问题，这是我们感兴趣的另一个方面。

在这篇论文中，我们提出了一种名为“课程对比正则化”的方法，用于图像去雾，以解决第一个问题。我们使用有雾或恢复后的图像作为共识空间中的负样本。受我们分析的启发，该分析表明共识负样本的难度会影响正则化的有效性，因此我们提出了一种课程学习策略，来安排这些负样本，以减少学习中的歧义。具体来说，我们将负样本分为三种类型（易、难和超难），并为对应的对比正则化负样本对分配不同的权重。同时，负样本的难度级别在训练过程中会随着表示空间中锚点向正样本移动而动态调整。这种方法旨在使去雾模型能够在更紧凑的解空间中稳定优化。

我们针对第二个问题提出了一个物理感知的双分支单元（PDU）。PDU在两个分支中分别近似表示大气光和透射率图对应的特征，分别考虑每个因素的物理特性。因此，潜在清晰图像的特征可以更精确地按照物理模型合成。最后，我们建立了C2PNet，即我们的去雾网络，它将PDUs部署到级联的主干结构中，并结合课程对比正则化。

贡献：

我们提出了一种新的用于除雾的C2PNet，它采用课程对比正则化，并在特征空间中加强基于物理的先验。我们的方法在合成和真实世界的场景中都优于SOTA。特别是，我们在SOTS室内和SOTS室外数据集上分别实现了3.94dB和1.50dB的显著PSNR提升。

拟议的正规化采用了一种独特的基于共识的消极方法来消除焦虑，并纳入了一种独立的课程学习策略，该策略动态校准消极因素的优先级和难度。它还被证明可以作为一种广义正则化技术来提高SOTA的性能，超过了以前的相关策略。

在仔细考虑所涉及的因素的特性的情况下，我们基于前所未有的物理模型表达式构建了PDU。这种创新设计在物理先验的指导下，促进了特征空间中的特征传输和提取。

2. Related Work
Single Image Dehazing.

传统的单图像去雾方法主要基于大气散射模型[31]。他们专注于设计手工制作的先验，如暗通道先验[21]和颜色衰减先验[44]。然而，这些先验可能不足以在实践中表征复杂场景。早期基于学习的方法[4，34]使用深度神经网络来预测物理模型中的透射图和大气光，以获得潜在的清晰图像。然而，估计中的不精确性可能会累积，阻碍无雾图像的可靠推断。随着大型雾度数据集[28]的出现，数据驱动的方法[8，17，30，33]得到了快速发展。FFANet[33]引入了特征注意力（FA）块，该块利用通道和像素注意力来改善雾度去除。DeHamer[17]将CNN和Transformer结合起来进行图像去雾，可以在Transformer中聚合长期注意力，在CNN特征中聚合局部注意力。请注意，这些方法不考虑雾化过程的物理特性。此外，Dong等人提出了一种基于物理模型推导的特征去雾单元（FDU）[11]。据我们所知，这项工作是唯一一项考虑特征空间中物理模型的工作，避免了原始空间中出现的累积误差。然而，FDU使用共享结构来预测这些未知因素，而不考虑它们的不同物理特性。为了解决这个问题，我们重新理解了物理模型，并构造了一个新的物理感知双分支单元来进行图像去雾

Contrastive Learning.

近年来，对比学习已广泛应用于高级视觉任务[6，16，18，20]。对比学习背后的理念是通过对比损失将锚点拉得更靠近正点，同时将其推离负点。然而，只有少数作品将对比学习应用于低级视觉问题。CR[40]是代表作之一，它引入了图像去雾的负点概念。通过将负信息视为解空间的下界，CR可以利用正信息和负信息进行训练。然而，大多数否定都是非合意的，因此与正的表示方式相距甚远，导致解空间不受约束。我们的目标是通过一种新的课程对比正则化方法来解决这个问题，该方法使用了一致的否定。

Curriculum Learning. 

启发于人类认知系统，Elman [15]强调了在神经网络训练中从小开始的重要性，这可以被视为课程学习的一个原型。后来，Bengio等人[3]正式提出了课程学习策略，根据训练样本的难度进行安排。如今，课程学习已成功应用于各种情况，包括视觉和语言任务[14, 25, 36, 41]。鉴于我们的分析表明不同的共识负样本呈现不同的学习难度，如何在训练过程中安排这些样本成为了一个问题。我们提出通过一个自包含的课程学习策略来解决这个问题。

3. Method
3.1. Overview

我们的目标有两个：1）提高用于除雾的特征空间的可解释性；2）使用对比样本建立更简洁的解决方案空间。图2展示了我们的C2PNet的详细结构。为了实现我们的第一个目标，我们设计了一个从大气散射模型导出的physicsaware双分支单元。关于我们的第二个目标，我们使用一致否定来定制对比正则化，以及一个独立的课程学习策略来处理学习困难。请注意，我们的课程对比正则化是网络不可知的，使其适用于其他去雾网络。

3.2. Physics-aware Dual-branch Unit 

......