Learning Aggregated Transmission Propagation Networks for Haze Removal and Beyond(IEEE 2018)

摘要：本文设计了一种新的残差体系结构，将先验(即领域知识)和数据(即雾霾分布)信息聚合在一起，用于场景亮度估计。我们进一步提出了一个基于变分能量的观点来研究聚合深度模型的固有传播行为。通过这种方式，我们实际上在以前的驱动模型和数据驱动网络之间架起了桥梁，利用了优势，但避免了以前去雾化方法的局限性。提出了一个轻量级的学习框架来训练我们的传播网络。最后，通过引入任务感知的图像分离公式和灵活的优化方案，我们将所提出的模型扩展到更有挑战性的视觉任务，如水下图像增强和单图像雨水去除。在合成图像和真实图像上的实验证明了该框架的有效性和有效性。

1.主要贡献

我们提出了一种新的传播方式，称为数据和先验聚合传输网络(DPATN)，以利用领域知识和训练数据的优势，但避免了单一图像去雾的限制。具体来说，我们首先构建一个聚合的残差体系结构来描述传输传播。基于能量建模视角研究了DPATN的固有传播行为。建立了一个轻量级的网络训练学习框架。明确地利用去雾任务的特定领域知识在DPATN的传输传播中进行传播，获得更精确的传输估计和更真实的去雾结果。DPATN需要的训练图像比现有的去雾网络少得多。此外，与传统的前馈网络相比，DPATN能够直接通过网络向前和向后传播传输，具有良好的传播特性。与目前大多数以启发式方式构建建筑的深层公式不同，我们提供了一种新颖的方式，从能量最小化的角度来研究建筑的内在传播行为。这些见解也可以扩展到指导其他复杂的视觉任务。为了解决更具挑战性的图像增强任务，如水下图像增强和单图像雨去除，我们用任务感知的分离公式扩展了DPATN，并证明了最终传播的全局收敛性。

2.去雾模型

从设计数据和预先聚合的传输网络(DPA TN)开始，以弥补领域知识和雾霾去除训练数据之间的差距。

2.1 大气散射模型

式中，A为全球大气光，I(x)、J(x)、d(x)、t(x)分别为观测到的朦胧图像，在像素点x处的场景潜亮度、场景深度和介质透射率，β为介质消光系数。我们知道t(x)的值在[0,1]范围内，用来描述到达相机传感器的不散光部分。第二个等式进一步表明t(x)随场景深度呈指数衰减。图像去雾的主要目标是从I(x)恢复到J(x)。由式(1)可知，准确估算传输图t(x)是本任务的核心。但由于单幅图像存在多个解，因此该问题具有很强的不适定性。注意，为了便于表示，下面我们将t(x)的离散形式表示为t = [t1，···，tN]∈RN，其中N为模糊图像的像素个数。

2.2 用于传输传播的聚合体系结构

我们首先将传输t的一般传播方案设计为以下残差体系结构:

 

其中F为残差函数，参数为W, t+为该模块具有单位跳跃连接的输出。使用这个基本模型，我们的目标是减少学习一个映射F来表述传输的传播残差。我们可以看到，与严格顺序网络不同，(2)中的模块引入了绕过剩余层的身份跳过连接，允许传输从任何层直接流向任何后续层。对于F的具体形式，我们通过聚合一个数据驱动的子模块(记为D)和一个先前驱动的子模块(记为P)来定义它，即:

 

这里W = {WD， λP}是可学习参数，其中WD表示D的传播参数，λP≥0是惩罚p的权重参数。

数据子模块:我们首先将数据驱动子模块D设计为两个卷积和一个激活的级联，以适应传输传播:

其中，{φk}Kk=1表示非线性激活，⊗表示卷积算子，{ˆωk，ˇωk}Kk=1为每次激活前后的卷积滤波器对。很明显，只传播t和D肯定会丢弃模糊图像的丰富先验信息。

先验子模块:我们现在讨论如何设计先验子模块P: I(x)→t(x)，以融合视觉线索来指导数据驱动的传输传播。具体来说，由式(1)可以得到t(x)实际上是两个线段在每个像素位置的比值，即:

我们在图2中演示了DPATN的整体传播管道。图3进一步展示了不同架构(P、D、F) DPATN的去雾结果。在本实验中，我们还将先验和过滤器(记为“P + MF”)的朴素组合产生的结果绘制为我们的基线。可以看出，在天空区域，先验P的结果倾向于估计过度的深度，从而导致明显的伪影。而单纯基于数据的D也可能导致不清晰的恢复(例如，在建筑边界附近对比度较低)。我们可以看到，media filter仅对p的性能有轻微的改善，但无法纠正场景深度不合适的问题，因此其结果仍然存在严重的伪影。相比之下，我们提出的聚合体系结构F可以提供更精确的传输图和更好的去雾结果。此外，在所有比较策略中，聚合F获得了最高的量化分数(即PSNR)。 

2.3 轻量级的学习框架

由于我们的目标是学习一个聚合的残差网络来将雾霾图像映射到相应的传输，所以我们首先收集一组训练对{is, t∗s}Ss=1，其中is为雾霾图像，t∗s为相应的地面真值传输映射。然后我们定义一个二次训练代价函数来度量DPATN的输出与地真传输图的差值为：

 

2.4潜在场景亮度恢复

讨论如何从朦胧观测i中恢复场景亮度J。除了介质传输t外，我们还需要在式(1)中估算出全球大气光A。最常用的策略是在暗通道中选择几个最亮的像素(如0.1%)。在这些像素中，选择图像中强度最大的像素作为大气光。这里我们基于一个过滤过程对该策略进行了改进，即Ac = max (minfilter(Ic))，其中“max”操作输出最大值，“minfilter”表示滑动窗口最小滤波器。根据估计的t和A，我们可以利用公式(1)恢复无雾图像。

 3.实验结果

4.结论

研制了用于单幅图像去雾的DPATN。与以往的基于先验设计模型或启发式构建网络的方法不同，DPATN通过在深残差体系结构中聚集先验和数据来进行传输传播。我们从能量的角度研究了它的传播行为。最后，我们提出了一种任务感知的图像分离技术，将DPATN扩展到更有挑战性的视觉任务，如水下图像增强和单图像雨去除。并证明了传播的全局收敛性。实验结果表明，DPATN与目前最先进的方法相比具有良好的性能。