【论文笔记】使用多流密集网络的密度感知单图像去雨

使用多流密集网络的密度感知单图像去雨

《Density-aware Single Image De-reaining using a Multi-stream Dense Network》

---

0 概要

这里提出一种密度感知多路稠密连接神经网络算法，DID-MDN，来雨量密集估计和去雨。
这种方法可以使网络自动地判断雨密度，然后有效地去除雨线。
为了更好的描述雨线的尺寸和形状，一种多路密集连接的去雨网络能够利用不同尺寸雨线的特征。
此外，创建了一个新的带有雨量密度的新数据集，用来训练密度感知网络。
在合成的和真实的数据集上的大量实验证明这种方法达到了有效的提升。另外，进行消融研究以证明在所提出的方法中由不同模块获得的改进。

1 介绍

DID-MDN（Density-aware Image De-raining Multi-stream Dense Network）。
多流密集连接网络简称 MDN。

这种网络可以自动的判断雨量密度信息（大、中、小）。这种方法包括两步：雨密度分类和雨线去除。

（1）为了准确估计雨密度级别，一种新的残差网络利用残差模块在有雨的做分类。
（2）雨线去除算法基于多流密集连接网络，它考虑了雨线的尺寸和形状信息。

一旦雨密度级别估计出来，融合已估计的雨密度信息到多流密集连接网络，得到最终的除雨的输出结果。

此外，为了高效的训练这种网络，合成了一个大规模的数据集，包含12000张图片，有不同雨密度级别。

此论文有如下贡献：

1. DID-MDN 自动的判断雨量密度信息，然后通过估计出来的雨量密度标签去除雨线。
2. 基于残差可以作为更好的描述雨密度信息的特征，论文提出残差感知分类器来判断雨量密度。
3. 合成数据集包括 12000 带有雨量密度的训练图片和1200张测试图片。据作者所知这是第一个包含雨量标签的数据集。尽管是在合成数据上训练的，它可以泛化到真实世界的图片。
4. 在三个高挑战性的数据集上（两个合成、一个真实）和比赛上进行了大量的实验。

2 背景和相关工作

2.1 单张图片去雨

$y=x+r$

一张有雨图片y可以用干净背景x和雨线部分r线性组合得到。

基于视频的方法（论文[23,29,25])利用时间信息去雨。包括基于稀疏编码的方法（论文[14,9,41]），低级别表示（[2,35]），高斯混合模型（GMM-based, gaussian mixture mode)（[17]）。

深度学习的方法主要是学习有雨图片与对应无雨图片的映射。

2.2 不同尺度特征聚合

用densely-connected block 作为构建模块，然后连接每个块的特征。

3 方法

DID-MDN主要包括两个模块：（1）残差感知雨量密度分类器；（2）多流密集感知去雨网络。

3.1 残差感知雨密度分类器（Residual-aware Rain-density Classifier）

不同雨密度下效果不好

尽管一些过去的方法性能达到了明显的进步，但是它们往往会过度去雨或者欠去雨。主要是因为用一个网络很难学到在不同雨密度下情况。为了精确估计有雨图片的密度，这里提出残差感知雨密度分类器。

通用分类模型不好使

训练一个新分类器的的常用策略是微调一个预训练模型，像VGG-16/Res-net/Dense-net。然而我们发现，在我们任务里直接微调一个深度模型不是一个有效的方案。这主要是因为高级特征倾向于关注定位离散物体。然而小的雨线不能集中于高级特征。换句话说，雨线信息会在高级特征中缺失，因此可能 会降低分类性能。提出一个更好的特征表示能够描述雨线特征很重要。

把$r=y-x$当作用来描述雨密度的残差模块。为了从观察$y$估计残差模块$\hat{r}$，MDN用带雨密度的新数据集训练。估计的残差当作输入来训练最终的分类器。
用这种方法，残差估计部分当作特征提取步骤。分类部分主要由三个卷积层（Conv kernel size 3x3）、一个平均池化层（AP kernel size 9x9）、两个全连接层(FC)。

残差感知分类器Loss：
（1）残差特征提取网络训练估计残差部分；
（2）分类子网络用估计的残差作为输入来训练
（3）两步联合起来优化。
整体的损失函数：$ L = L_{E,r} + L_{c} $
L_c表示雨密度分类的交叉熵损失，L_{E,r}表示每个像素的欧氏损失。

3.2 MDN

联合不同尺度的特征可是一个更有效的方法来获取变化的雨线。

基于观察和使用多尺度特征用于单张图像去雨的成功的刺激，这里提出一个更有效的多流稠密连接网络来估计雨线。每一路用不同核尺寸的dense-block创建。
多路block用Dense1(7x7)、Dense2(5x5)、Dense3(3x3)表示。
另外 ，为了进一步提升信息从不同block流动和利用每个dense-block的特征，介绍一种修改的连接，它所有的每个块的特征连接在一起用于雨线估计。而不是仅用每一路的两个卷积层，这里创建了不同特征的短路径来加强特征聚合和获得更好的收敛。

（1）为了利用雨密度信息来指导云雨操作，，上采样label map与三路雨线的特征连接起来。
（2）然后连接特征用来估计残差$\hat{r}$雨线信息。
（3）另外 ，residual 残差从输入雨图中减去，来估计粗糙的去雨图像 。
（4）最后，为了改善粗糙的去雨图像和确认更好的细节被保留，两个带relu的卷积层被采用作为最后的改善。

去雨网络的loss

3.3 Testing

测试阶段，估计出用残差感知分类器的雨密度标签。然后，上采样label-map喂进多流网络，得到最终去雨图像。

4 实验结果

这一节主要讲述实验细节和在合成数据、人工数据上的验证结果。
合成数据上的去雨效果按照PSNR和SSIM。真实图片上的不同方法效果可视化显示，因为没有ground truth。
DID-MDN与几种方法比较：
(1) 基于判别稀疏编码的方法。Discriminative sparse coding-based method. DSC. iccv’15
(2) GMM cvpr’16
(3) CNN tip’17
(4) JORDER CVPR’17
(5) DNN CVPR’17
(6) JBO ICCV’17

4.1 合成数据

Train1 ，包含12000图片，每张图片有雨密度标签。
Test1，1200张图片。
每张图片包含的雨线方向尺寸不同。
Test2，

4.2 训练细节

训练时，从586x586里随机裁剪 512x512。
优化算法 用Adam, mini-batch=1
学习率从0.001开始，每20个epoch下降为十分之一。
模型训练80*12000次迭代。
衰减decay为0.0001，动量momentum为0.9。
$\lambda =1$

4.3 ablation study 消融学习

残差感知比VGG-16更好。
在第二次消融研究中，我们通过以下经验证明了我们方法中不同模块的有效性。

4.3.1 两个合成数据上的结果

在来自两个合成数据测试图片上，我们比较了不同方法的定性的和定量的性能。

4.3.2 真实图片的结果