基于单幅图像Patch Map的稳健除雾(PMS-Net: Robust Haze Removal Based on Patch Map for Single Images_CVPR_2019)

概述：

        本文提出了一种新的基于斑块图的雾霾去除算法。传统的基于补丁的雾霾去除算法（例如，暗通道优先）通常以固定的补丁大小执行去雾。然而，它可能会导致一些问题，如过饱和和颜色失真。因此，在本文中，设计了一个自适应的、自动的面片大小选择模型，称为面片地图选择网络（PMS-Net），用于选择每个像素对应的面片大小。该网络是基于卷积神经网络（CNN）设计的，它可以从输入图像生成面片图。在合成图像和真实图像上的实验结果表明，结合所提出的PMS网络，雾霾去除性能远远优于最先进的算法，并且可以解决固定斑块大小所带来的问题。本文提出的PMS-Net在去除雾霾方面的性能比目前最先进的算法要好得多，可以解决固定patch大小所带来的问题。

主要贡献：

        本文在DCP(暗通道去雾)的启发下，提出了一种新的基于新特征的patch map算法，该算法可以自适应地为每个像素点选择patch大小。在传统的DCP算法中，采用固定的patch大小来估计大气光和透射图。但是，从实验中中可以看出，当我们使用固定大小的patch进行DCP来恢复有雾场景时，性能是有限的。然而，当我们利用patch map自适应patch大小来估计暗通道时，DCP的性能可以得到有效的提高。

• 本文分析了DCP在特定场景下失效的原因，以及使用固定的补丁大小会导致性能下降的原因。

• 定义了一个名为补丁地图的新特性来解决这个问题。

• 提出了patch map 选择网络 (PMS-Net)来生成patch map。

• 同时为了提高该网络的性能，提出了金字塔型多尺度U模行。然后，利用斑图，可以预测更精确的大气光和透射图。利用该结构，可以避免传统DCP算法的问题。

• 最后，本文分析了斑块图的性质，总结了DCP中斑块大小的选择规则。

提出的去雾算法的流程图 ;

 网络结构：

        主要分为两个部分，编码部分：首先将输入图像通过一个3*3 filter16通道的卷积核映射到高维空间，然后通过Multiscale U-module从更高维度的数据中提取图像特征。解码部分：运用GCN进行解码上采样，BR保留图像边界信息，而且这种密集的连接可以合并高分辨率和低分辨率的信息，最终得到更好的patch map。

暗通道优先恢复错误（Wrong Recovery in the Dark Channel Prior ）

        传统的DCP算法虽然能有效地处理模糊场景，但在白色场景或普通场景中也会出现过饱和和颜色失真等问题。产生这些问题的原因如下:在原假设中，对于无雾图像，局部patch中三个颜色通道的最小值接近于零。然而，这种减少是造成上述问题的主要原因，因为传统上人们通常设置一个固定的补丁大小。如果选择较小或中等大小的patch，但是暗通道的值可能不总是为零，特别是对于强度较大的区域。因此，为每个像素自适应地选择patch大小是获得高质量恢复结果的关键。因此，我们提出了补丁地图选择网络(PMS-Net)来自适应地选择补丁大小。其体系结构如图4所示。

Patch Map 生成器

        为了训练PMS-Net，需要从训练数据中生成补丁图。因此，本文提出了补丁地图生成器(PMG)。PMG的设计是，我们首先应用(8)和(9)来恢复不同patch大小的图像。

        公式中I(x)为输入，ti(x)、Ji(x)、Aik(x)分别为透射图、无雾图像和不同patch size 下的大气光值。然后，通过以下方法计算恢复结果与地面真值之间的误差函数: 

         其中Ei(x)为patch大小为i的恢复结果的误差函数，Jgth(x)为地面真实值。我们确定不同patch size i的误差函数，找到每个像素的误差函数最小的patch大小，赋值为该像素的patch map值:

        其中，PMG(x)为patch map, k为使x位置的误差函数最小化的patch大小。在本例中，我们将n设为120。通过此操作，我们可以为所有图像生成patch map，并将其用于训练过程。

        patch map的示例如图7所示。可以看到，在白色、灰色、明亮和天空区域，为了适应之前的暗通道，补丁大小倾向于更高。(见天空和白色区域)反之，在其他暗区域，斑块大小最好小一些。 

Patch Map 选择网络

        所提出的PMS-Net结构如上图所示。它可分为编码器部分和解码器部分。最初，输入的有雾图像将通过3×3核与16个滤镜的卷积投影到高维空间。然后，利用所提出的多尺度u模对高维数据进行特征提取。

        多尺度u模块的设计上图所示。输入将通过几个Multiscale-W-ResBlocks (MSWR)，如下图的左侧所示。在MSWR的设计上，通过增加网络的宽度和减小网络的深度来改进ResNet，并将WRN应用到该的网络中。在每个块中，使用快捷方式执行Conv-BN-ReLu-Dropout-Conv-BN-ReLu 来提取信息。此外，MSWR多尺度概念的设计采用了多级技术来增强信息的多样性，提取详细信息。通过此操作，网络可以更有效地找到传输图或无雾图像。虽然在这个网络中，输出与之前的作品有所不同，但是仍然采用了这个技术，因为我们认为patch map是与雾霾相关的特征。

        此外，为了提取不同层次的信息，采用了金字塔式的结构，而不是采用相同的结构。更具体地说，对于第一个块，连接了三个不同大小的卷积核(5×5, 3×3, 1×1)，因为需要在更高的层中保留更多不同尺度的信息。对于第二和第三块，分别采用(3×3, 1×1)和(1×1)的卷积核。通过这种操作，还可以减少参数的使用。

        对于Multiscale u模块的另一部分，该模型使用multi-deconv（多层反卷积）模块将信息与MSWR的输出连接起来，而不是传统的反褶积，因为反褶积层可以帮助网络重构输入数据的形状信息。因此，结合多尺度反褶积，可以从之前的层重建出更精确的特征图。此外，在Multi-Deconv的设计中，还采用了金字塔的方式将信息进行放大，并与MSWR进行连接。原因与MSWR的设计相同。即对不同层次的特征图进行不同比例尺的反褶(见下图右侧)

        为了保持高分辨率的特性，MSWR和Multi-Deconv模块的输出直接连接。然后，将特征图馈入上层的Multi-Deconv和解码器。在译码器的设计上，采用了全局法卷积网络模块(GCN)边界细化模块(BR)也用于保持边缘信息。对于高级层，采用上采样操作。此外，采用密集连接方式对高分辨率和低分辨率信息进行合并。利用提出的PMS-Net，可以很好地预测patch map。

实验结果

        我们从NYU-depth2数据集中获取了150张图像，并对这些图像应用合成雾度作为测试A。然后，我们从Resident数据集中和NYU-depth2数据集中获取了200张室外图像和100张室内图像作为测试B。

        对测试A数据集进行定性分析

        对测试B数据集进行定性分析：