AOD-Net: An All-in-One Network for Dehazing and Beyond阅读提要

摘要

AOD-Net:基于CNN的图像去雾模型

       创新点：不像以前大多数模型那样分别估计传输矩阵和大气光，而是通过一个轻量级的CNN直接生成干净图像。

       创新点的优点：这种新颖的端对端设计使得AOD-Net易于嵌入到其他深度模型中，如FAST R-CNN。

       成果：该算法在客观标准PSNR(峰值信噪比)、SSIM(结果相似性)和主观视觉质量方面都优于当时最先进算法。此外，当AOD-Net与FAST R-CNN连接并从端对端地训练联合管道时，雾图上的目标检测性能大大提高。

引言

A.先验

B.关键挑战和瓶颈

1.没有端对端除雾

传统方法需要使用经验规则来计算大气光和透射率，并基于物理模型来恢复图像，但这个过程容易累积误差，相比之下，深度学习方法采用端到端建模，直接从雾图像回归到清晰图像

2. 缺少与高级视觉任务的联系

目前，去雾模型依赖于两组评估标准

1）对于合成模糊图像，其对应的清晰图像已知，通常计算PSNR和SSIM来测量确保恢复保真度; 2）对于没有清晰图像的真实自然模糊图像，唯一可用的去雾效果比较是主观视觉质量。

然而，与图像去噪和超分辨率结果不同，他们视觉伪像的抑制效果是可见的（如在纹理和边缘上），现有技术的去雾模型间的视觉差异，通常表现在全球光照和色调中，并且通常太微妙无法分辨。

一般图像恢复和增强是低级的视觉任务，通常被认为是中级和高级视觉任务的预处理步骤。而物体检测和识别之类的高级计算机视觉任务的性能将在劣化情况下恶化，并且在很大程度上受图像恢复和增强的质量影响。

C.本文主要贡献

在本文中，我们提出了一体化除雾网络（AOD-Net），这是一种基于CNN的除雾模型，具有两个关键创新，以应对上述两个挑战：

1.本文第一个提出端到端可训练的去雾模型，它直接从模糊图像中生成干净的图像，而不是依赖于任何单独的和中间的参数估计步骤,AOD-Net是基于重新配制的大气散射模型设计的，保留了与现有工作相同的物理基础。然而，它将物理模型以端对端的方式制定，其所有参数在一个统一模型中估算。

2.本文第一个定量研究去雾质量如何影响后续的高级视觉任务，为比较去雾效果提供了新的客观标准。此外，AOD-Net可以与其他深层模型无缝嵌入，构成一个管道，在模糊图像上执行高级任务，具有隐式的去雾过程。由于我们独特的一体化设计，这种管道可以从头到尾联合调整，以进一步提高性能，这是其他深度去雾方法所没有的。

实验成果：AOD-Net在合成模糊图像上进行训练，并在合成和真实自然图像上进行测试。实验证明AOD-Net无论在客观标准(PSNR、SSIM)上还是在主观视觉质量上都优于几种最先进的方法，并证明了AOD-Net的优越性、良好的鲁棒性和多尺度特征的有效性。作为轻量级和高效率的类型，AOD-Net具有更快的运行速度。当与更快的R-CNN 连接时，AOD-Net在改善模糊图像的物体检测性能方面明显优于其他去雾模型，当我们共同调整AOD-Net和FAST R-CNN的系统时，性能得到进一步提升。

模型

A.物理模型和转化公式

大气光散射模型公式：I (x) = J (x)t(x) + A (1 − t(x))

t(x) = e−βd(x)

重写模型为：           

传统的方法遵循相同的三步：

1）使用复杂的深模型从模糊图像I(x)估计传输矩阵t(x);

2）使用一些经验方法估计A;

3）通过估计清洁图像J(x)。

传统方法的弊端：传统的过程导致次优解决方案，没有直接最小化图像重建的误差。将它们组合在一起以计算时，t(x)和A的单独估计将导致误差积累和放大。

本文的核心思想(关键理论创新)是将t(x)和A两个参数统一为一个公式，直接最小化像素域重建误差

这样，t(x)和A都被积分到新的变量K (x)中，B是默认值为1的常数偏差，由于K (x)依赖于I (x)，因此我们的目标是建立一个输入自适应深度模型，该模型的参数将随着输入模糊图像的变化而变化，从而使输出J (x)与清晰图像之间的重建误差最小化。

B.网络设计

本文所提出的AOD-Net由两个模块组成，如图所示:一个K估计模块，从输入I (x)估计K (x)，然后是一个干净的图像生成模块，利用K (x)作为其输入自适应参数来估计J (x)。

K估计模块是AOD-Net的关键组件,负责估计深度和相对雾霾水平.如图所示，使用五个卷积层，并通过融合不同大小的滤波器形成多尺度特征,中间连接也补偿了卷积过程中的信息损失

Concat层则是连接层，它用于在不同的层之间进行特征融合，卷积层用于特征提取

在K估计模块之后，干净图像生成模块由一个元素智能乘法层和几个元素智能加法层组成，以便通过计算生成恢复图像

为了证明为什么联合学习t(x)和A重要，本文比较了一个baseline，该baseline用传统方法估计A，然后使用端到端深度网络通过最小化重建误差学习t(x)。发现基线高估了A并导致过度曝光的视觉效果。AOD-Net显然产生了更真实的照明条件和结构细节，因为1 t(x)和A的联合估计使它们能够相互完善。其他超参数的不准确估计(例如，伽马校正)也可以在一体化公式中折衷和补偿。

实验结果

        A.数据集和实现

生成合成数据：使用NYU2深度数据集，大气光值范围为[0.6,1.0]，β值为{0.4,0.6,0.8,1.0,1.2,1.4,1.6}。本文从中选取了27256张图像作为训练集，3170张作为测试集A，并且从Middlebury立体数据集中选取了800张全尺寸合成图像作为测试集B。此外，本文还评估了该模型在自然雾霾图像上的泛化能力。

在训练过程中，权重使用高斯随机变量进行初始化。我们使用ReLU神经元，因为在我们的特定设置中发现其比[3]提出的BReLU神经元更有效。动量和衰减参数分别设置为0.9和0.0001。我们使用8个图像（480×640）的批量大小，学习率为0.001。我们采用简单的均方误差（MSE）损失函数，并发现它不仅提高了PSNR，还提高了SSIM以及视觉质量。AOD-Net模型需要大约10个训练周期才能收敛，并且通常在10个周期之后表现得足够好。在本文中训练了40个周期的模型。 还发现将范数约束在[-0.1,0.1]内对clip the gradient （防止梯度爆炸）很有帮助。

        B.合成数据集上的质量评估

将所提出的模型与8种最先进的去雾方法进行了比较：

快速可见性恢复（FVR）[35]	暗通道先验（DCP）[9]	边界约束上下文正则化（BCCR）[20]	自动大气光恢复（ATM）[33]
颜色衰减先验（CAP）[45]	非局部图像去雾（NLD）[1] [2]	DehazeNet [3]	MSCNN [27]

在以往的实验中，由于在真实模糊图像上进行测试时没有无雾霾的真实性，因此报告了很少有关于恢复质量的定量结果。本文合成的模糊图像伴随着地面实况图像，使我们能够根据PSNR和SSIM比较这些去噪结果。

表I和III-B分别显示了测试集A和B上的平均PSNR和SSIM结果，得知AOD-Net网络的性能明显优于其他网络，并实验验证为什么SSIM结果也会更优针对TestSet B的调查。每个图像被分解为平均图像和残差图像的总和。其中，平均图像由所有像素位置构成的具有相同平均值的矢量组成，大致对应于全局照明，而残差则更多涉及局部结构变化和对比等。作者观察到AOD-Net在产生残差均方误差方面与竞争对手DehazeNet和CAP等方法相似，但AOD-Net结果的平均部分的均方误差显著低于这些方法。作者认为这表明AOD-Net可能更能够恢复全局照明，而人眼对全局照明的大变化比对任何局部失真更敏感，因此AOD-Net的视觉效果更好。

        C.视觉效果评定

1. 合成图像
2. 自然图像，虽然通过室内图像合成训练，但可以更好的泛化为室外图像
3. 白色风景自然图像：没有特别考虑，但是端对端的方案提供了更强的鲁棒性，不会引入假色调或扭曲的物体轮廓
4. 对无雾图像影响很小
5. 图像反光晕

        D.多尺度特征的有效性

K估计模块结合了不同滤波器的多尺度特征

        E.速度对比

AOD-Net的轻量结构能有更快的速度

Beyond Restoration:评价和改进目标检测的除雾效果

本文第一个定量研究去雾质量如何影响随后的高级视觉任务，本文选择Faster R-CNN模型作为strong baseline，并在合成和自然雾图像上进行测试。然后将AOD-Net模型与Faster R-CNN模型连接起来，作为统一的管道进行联合优化，实验发现：当雾浓度加深时，物体检测可靠性下降。在所有雾霾条件下（轻度、中度或重度），该模型都能超越单纯的Faster R-CNN非联合方法。