PSD：由物理先验指导的有原则的合成到真实的去雾（Principled Synthetic-to-Real Dehazing Guided by Physical Priors_CVPR_2021）

概述

        因为过往基于深度学习去雾的算法当模型用于现实世界的模糊图像时会导致性能下降 ，为此本文提出了一个有原则的合成到真实的去雾（PSD）框架来提高去雾的泛化性能。 从在合成数据上预训练的去雾模型主干开始，PSD 利用真实的模糊图像以无监督的方式微调模型。 对于微调，我们利用了几个有充分根据的物理先验，并将它们组合成一个先验损失委员会。 PSD 允许大多数现有的去雾模型作为其主干，并且多个物理先验的组合显着促进了去雾。 通过广泛的实验，证明了 PSD 框架在通过无参考质量指标评估的视觉质量以及主观评估和下游任务性能指标方面为现实世界的去雾建立了新的最先进的性能。

主要贡献

        在本文中，提出了一个有原则的合成到真实的去雾（PSD）框架，该框架适用于将大多数现有的去雾模型推广到真实领域。 PSD包括两个阶段：有监督的预训练和无监督的微调。 对于预训练，该文将选定的去雾模型主干修改为基于物理的网络，并使用合成数据训练该网络。 利用精心设计的主干，可以获得在合成领域具有可靠去雾性能的预训练模型。 对于微调，利用真实的模糊图像以无监督的方式训练模型。 我们调查了去雾任务的强大物理背景，并精心挑选了三个物理先验来组成一个指导无监督训练的损失委员会。 这个微调过程的关键思想是良好的去雾结果应该共享一些共同的属性/统计先验的直觉。 我们利用这种直觉，将损失委员会视为特定于任务的代理指导，以帮助将我们的模型推广到真实领域。 如图 1 所示，与主干模型相比，PSD 产生了更好的去雾效果。

• 将现实世界的去雾任务重新制定为一个从合成到现实的泛化框架：从在合成配对数据上预训练的去雾模型主干开始，随后将利用真实的模糊图像在无监督的情况下微调模型。 PSD 原则性强，易于使用，可以以大多数深度去雾模型为骨干。
• 由于缺乏干净的真实图像作为监督，我们利用几个流行的、有充分根据的物理先验来指导微调。 我们将它们组合成一个先前的损失委员会，作为特定于任务的代理指导，它构成了 PSD 的核心。 同时表明，这些先验是互补的，它们的组合最能促进 PSD 去雾。
• 本文的框架通过综合实验与许多竞争方法进行了比较。 结果根据通过无参考质量指标和主观评估以及下游任务绩效指标评估的视觉质量进行评估。 PSD 始终如一且实质性地建立了新的最先进的真实世界去雾性能

去雾模型

        当之前的基于深度学习的去雾方法被推广到真实的模糊图像时，合成数据和真实数据之间的领域差距可能会导致性能显着下降，因为它们中的大多数只在合成数据上进行训练。 为了解决这个问题，我们提出了 PSD，一种有原则的合成到真实的去雾泛化框架，旨在使合成数据库模型适应真实领域。 

        我们的PSD模型由骨干网、物理兼容头和大气光估计网络（A-net）组成。我们用合成图像对模型进行预训练，然后在从几个物理先验派生的代理损失委员会的指导下，用合成图像和真实模糊图像对模型进行微调。

        拟议的PSD框架概览。我们的模型包括一个主干，一个物理兼容的头部，和一个大气光估计网络（A-net）。我们先用合成图像对模型进行预训练，然后用合成图像和真实模糊图像对模型进行微调，由几个物理先验的代理损失委员会指导。 

无监督域适应

        无监督域适应旨在解决源域和目标域之间的域转移，而目标域中的图像未标记。 一个主要的想法是通过优化分布差异的一些测量来诱导特征空间中源域和目标域之间的对齐。

        本文探索了大量的物理先验，并建立了一个损失委员会，作为我们使用真实模糊图像进行训练的代理指导。

框架概述

        如上图所示，PSD 是一个由预训练和微调组成的两阶段框架。

        a、预训练：本文首先采用最先进的去雾模型之一作为该模型的主干，因为这些模型在合成数据集上取得了令人印象深刻的性能，并且可以隐含地提供模糊图像的领域知识。 然后我们将主干修改为基于物理的网络，同时生成干净的图像 J~，传输图 t 和来自单个模糊输入 I 的大气光 A 。为了联合优化这三个分量，我们加入了重建损失，它引导网络输出服从物理大气散射模型 。在这个阶段只使用标记的合成数据进行训练，最终得到一个在合成域上预训练的模型。

        b、微调：本文利用未标记的真实数据将预训练模型从合成域推广到真实域。 受到去雾这一强大物理背景的启发，我们认为高质量的无雾图像应该遵循一些特定的统计规则，这些规则可以从图像先验中推导出来。 此外，单个先验提供的物理知识并不总是可靠的，因此我们的目标是找到多个先验的组合，希望它们能够相互补充。 受此启发，设计了一个先前的损失委员会，作为针对未标记真实数据训练的特定任务代理指导。

        此外，本文还实现了一种无遗忘学习（LwF）方法，该方法通过将原始任务的训练数据（即合成模糊图像）与真实模糊数据一起通过网络转发，迫使我们的模型记住合成领域知识。

基于物理的网络

        物理先验通常与大气散射模型 的三个分量 J、t 和 A 有关。 由于大多数深度去雾模型仅直接估计恢复的图像，因此需要对其进行修改。 我们建议添加两个新模块。

1. 物理兼容头（Physics-compatible head）：该模块由两个分支组成，每个分支包含两个卷积层。 假设选定的去雾主干是传输图 t 和干净图像 J 的有效特征提取器，简单的卷积层足以从特征图中生成这两个分量。 因此，我们通过这个物理兼容头转发主干输出，分别生成传输图和无雾图像
2. 大气光估计网络（A-Net）：A-Net 来自 DCPDN 并作为我们模型的独立部分，它直接从朦胧的输入估计大气光。通过重建损失在骨干网和该子网之间建立连接。

模型预训练

        对于修改后的网络的训练，本文从原始骨干模型中采用相同的参数设置和损失函数 Lo。由于单个 Lo 损失无法更新两个添加模块的参数，因此将重建损失（ LRec） 纳入训练以联合优化整个模型。具体来说，我们聚合网络输出 J~、~t 和 A~，以通过物理散射模型重构原始输入。则重建损失 LRec 表示为： 

        I表示输入的有雾图。两个损失 Lo 和 LRec 结合起来用于新的基于物理的网络的预训练。 由于精心设计的主干，我们的预训练模型在合成的模糊数据上产生了令人满意的去雾效果。 

先前损失委员会

        我们对各种除雾前兆进行了探索，从中选出了三种有效的除雾前兆。它们为我们提供了真实图像的先验知识。我们将这三个优先级合并为一个损失委员会，作为非监督微调阶段的任务特定代理指导。该委员会的三名成员将在下文详细介绍。

        a、暗通道先验 (DCP) 损失: 暗通道先验（DCP）最著名和最有效的图像去雾先验。 为了实现 DCP 作为我们先前损失委员会的成员，我们遵循原有方法提出的方法将这个先验重新表述为能量函数： 

        其中 t 和 t 分别表示来自 DCP 和我们的网络的传输估计。  L 是类拉普拉斯矩阵。 第一项促进成功的图像抠图，第二项促进对暗通道解决方案的保真度。  λ 充当超参数。 

        尽管 LDCP 极大地提高了模型在真实模糊图像上的性能，但它会产生副作用：去雾结果通常比预期的要暗。 因此，我们将一个明亮的通道先前的损失整合到我们的委员会中作为第二个成员。 

        b、明亮通道先验 (BCP) 损失。 明亮通道先验（BCP）被广泛应用于解决去雾和图像增强问题。 它有助于使生成的图像更亮并增强对比度。 我们将 BCP 实现为以下损失函数：

         其中 t 和 t 分别代表来自 BCP 和我们的网络的传输估计。

        LBCP 通过显着提高恢复图像的全局光照和恢复更多细节来弥补 LDCP 带来的缺点。 然而，只有两次失败的委员会通常无法维持稳定的微调过程。 也就是说，要在 LDCP 和 LBCP 之间取得平衡并不容易。 因此，我们在之前的损失委员会中招募了一名新成员，即 CLAHE 重建损失。

        c、CLAHE 重建损失：对比度受限自适应直方图均衡化（CLAHE）是一种传统的对比度增强方法，对图像去杂也是有效的。虽然我们可以直接使用CLAHE恢复模糊图像，但不建议将其结果视为监督，因为它可能会将此方法的固有缺陷带入我们的网络。因此，我们以一种间接的方式实现这一优先权。具体地说，我们通过散射模型（1）将两个网络输出¨t，A¨和CLAHE JCLAHE的脱叠结果重建为原始输入，然后通过以下方式定义损耗函数：

        其中 I 是原始的模糊输入，是、~t 和 A~ 的重建结果。   显着提高了我们委员会指导的无监督培训过程的稳定性。 

         最后，与所有三个成员一起，先前的损失委员会提供定义为的损失函数

        其中 λd、λb 和 λc 是权衡权重。 

合成到真实的泛化 

        借助预先训练的基于物理的模型 M 和先前的损失委员会，我们可以进入从合成到真实的泛化阶段。从模型 M 开始，我们通过最小化我们之前的损失委员会提供的损失函数 Lcom，以无监督的方式将未标记的真实数据合并到 M 的训练中。为了避免灾难性的遗忘，我们还实现了无遗忘学习 (LwF) 损失 Llwf，这有助于我们的模型记住之前在合成数据集上的去雾任务。具体来说，在使用真实图像更新模型 M 时，我们保留了原始模型 Mo 的副本，该副本在泛化过程中被冻结。我们通过 Mo 转发合成图像和真实图像，并最小化 M 和 Mo 的输出特征图之间的差异。损失函数公式为：

        其中 Fs 和 Fos 代表 M 和 Mo 在合成数据上的特征图，Fr 和 For 分别代表真实数据上的特征图。 

        此外，物理先验通常无法正确处理图像中的天空，从而导致伪影和颜色偏移。 为了解决这个问题，我们通过暗通道先验粗略估计输入图像的天空区域，并在微调过程中尽可能保留天空区域的原始像素值，通过以下损失函数：

        其中 Msky 是表示天空区域的二进制掩码，J 和 Jo 是从 M 和 Mo 恢复的图像。补充材料中提供了更多详细信息。 

        前者中提到的重建损失 LRec 也被纳入，以整合网络的所有模块并同时优化它们。

        最终，将该阶段的总体损失函数L定义为：

数据集

        我们从常驻数据集中选择OTS（户外训练集）和URHI（未注释的真实模糊图像）进行训练，其中OTS的合成图像用于预训练，URHI的真实模糊图像用于微调。所有图像随机裁剪为256×256大小的面片，标准化像素值为−1比1。默认情况下，PSD的实验是在MSBDN主干上进行的，因为该模型提供了合成图像的最佳去叠性能，并且观察到非常适合我们的框架 

框架泛化

        我们测试了除默认MSBDN之外的两个新主干网，即FFANet[28] 和GridDehazeNet [21]，以证明PSD通常可用作即插即用框架。我们将主干网与相应的PSD模型进行比较。在图中。7，与最新的域自适应去雾 (DAD) 相比，PSD大大改进了所有三个主干网的泛化，并且获得了更好的结果 .

实验结果

        为了定量比较，我们使用 Fog Aware Density Evalua-tor (FADE)  来评估图像的雾度密度。 此外，我们采用了三个众所周知的无参考图像质量评估指标：BRISQUE 、NIQE 和 NIMA 。 所有这些指标都在 RTTS 数据集上进行评估。 我们将 PSD 与 SSLD、DAD 和 MSBDN（骨干网）进行比较。