Fast Deep Multi-patch Hierarchical Network for Nonhomogeneous ImageDehazing(图像去雾cvpr2020)

本文链接：https://blog.csdn.net/change_lkl/article/details/128272421

摘要
最近，基于CNN的端到端深度学习方法在图像去雾方面取得了优势，但它们在非均匀去雾方面往往会彻底失败。除此之外，现有的流行的多尺度方法是运行时密集型和内存低效的。在这种情况下，本文提出了一种快速深度多片分层网络，通过用较少数量的网络参数聚集来自模糊图像的不同空间部分的多个图像片的特征来恢复非同质模糊图像。我们提出的方法对于场景中具有不同密度的薄雾或雾的不同环境是相当鲁棒的，并且非常轻量级，本文展示了该网络在去除浓密烟雾方面相对于其他先进模型的优越性。

1 提议的方法

我们使用多补片和多尺度网络进行非均匀图像去雾

1.1多块架构

本文使用深度多块层次网络(DMPHN)。DMPHN最初用于单幅图像去模糊。在本文中使用DMPHN的变体。

DMPHN是一个多级架构。每一层都有一个编码器-解码器对。每个级别处理不同数量的块。在DMPHN(1-2-4)中，从上到下使用的块数分别为1、2和4。最高级别(级别1)只考虑每个图像的一个块。

让我们考虑一个输入模糊的图像 $I^{H}$ ，我们把第i级别的第j块表示为 $I_{i,j}^{H}$ ，在第一级别中 $I^{H}$

并没有被划分成任何块。在级别2当中 $I^{H}$ 是被垂直划分成 $I_{2,1}^{H}$ 和 $I_{2,2}^{H}$ ，在级别3中 $I_{2,1}^{H}$

和 $I_{2,2}^{H}$ 被水平划分为四个块 $I_{3,1}^{H}$ , $I_{3,2}^{H}$ , $I_{3,3}^{H}$ 和 $I_{3,4}^{H}$ 。在第i级别的编码器和解码器分别表示为 $Enc_{i}$ 和 $Dec_{i}$ 。

DMPHN中的信息流是自底向上的。最底层的面片被送入 $Enc_{3}$ ，生成相应的特征图。

本文连接空间相邻的特征地图以获得新的特征表示。

新连接的特征通过解码器 $Dec_{3}$ 传递

解码器输出与下一级中的块相加，并被馈送到编码器。

编码器输出与来自前一级的相应解码器输入相加。然后将得到的特征图在空间上连接起来。

然后，将 $P_{2}$ 馈送到 $Dec_{2}$ ，以生成级别2的残差特征图。

2级解码器输出被添加到输入图像并通过Enc1。编码器输出F1与 2级解码器输出Q2相加。

F1与p2相加，送入 $Dec_{1}$ ，产生最终的去雾输出 $\hat{I}$ 。

1.2多尺度架构

本文还试验了多尺度架构。我们将这种架构命名为深度多尺度分层网络(DMSHN)。该架构的细节描述如下。

输入模糊图像 $I^{H}$ 通过因子2和因子4被缩减采样以创建图像金字塔。我们将这些下采样图像分别称为 $I_{0.5}^{H}$ 和 $I_{0.25}^{H}$ 。该架构由3层组成，每层都有一对编码器和解码器。级别上的编码器和解码器分别表示为Enci和Deci。

在最低级别， $I_{0.25}^{H}$ 被馈送到编码器Enc3以获得特征映射F3，并进一步通过解码器Dec3传递到特征表示P3。

P3上采样两倍后被添加到 $I_{0.5}^{H}$ ，然后通过编码器Enc2去生成 $F_{2}^{*}$ ，来自上一级编码器的输出上采样添加到中间特征映射 $F_{2}^{*}$ 后被送到Dec2。

3.3.编码器和解码器架构

我们在DMPHN和DMSHN的所有级别使用相同的编码器和解码器架构。编码器由15个卷积层、6个剩余连接和6个ReLU单元组成。解码器和编码器中的层是相似的，除了2个卷积层由反卷积层代替，以生成去雾图像作为输出。

2. 损失函数

我们使用以下损失函数的线性组合作为优化目标。

重建损失:重建损失有助于网络生成接近地面真实情况的去雾帧。我们的重建损失是MAE orL1损失和MAE orL2损失的加权和。重建损失由下式给出:

感知损失:从预测和地面真实图像的VGGNet的conv4-3层提取的特征之间的L2距离被用作感知损失。感知损失由下式给出:

TV损失:我们使用总变体(TV)损失使预测平滑。TV损失由下式给出: