深度学习——Multi-Purpose Image Deraining (MPID)

CVPR2019原论文：Single Image Deraining: A Comprehensive Benchmark Analysis
项目地址：https://github.com/lsy17096535/Single-Image-Deraining

1.主要内容：提出了多任务去雨评价标准。对一些优秀去雨方法作了全面的一致性评测。

2.雨模型：
1）包含雨线和干净背景的雨模型：

其中，B为干净背景图像，S为雨线图像。
2）包含雨点和干净背景的雨模型:

其中，B为干净背景，D为雨点图像，M是雨点的掩膜Mask。
3）包含雨线，雾气和干净背景的雨模型：

其中，B为干净背景图像，A为雾气图像，S为雨线图像。

3.数据集：

1）训练集：
对应三个雨模型，收集和制作了三个雨数据集。Rain streak(T,表示训练)雨线，2400对合成图像。Raindrop(T,表示训练）雨点，861对合成图像。Rain and mist（T，表示训练）雨雾，700对合成图像。

2）测试集：
对应三个雨模型，收集和制作了六个数据集（分别有合成数据S，真实数据R）。Rain streak雨线，200对合成图像，50个真实图像。Raindrop雨点，149对合成图像，58个真实图像。Rain and mist雨雾，70对合成图像，30个真实图像。对于合成数据的评价指标有PSNR，SSIM，NIQE, SSEQ，BLIINDS-II。对于真实图像的评价指标有NIQE, SSEQ，BLIINDS-II。 因为PSNR，SSIM需要ground truth计算，所以真实图像的评价指标只有三种无参考评价指标。NIQE值越小，图像质量越好。SSEQ，BLIINDS-II值越大，图像质量越好。

3）任务型评估数据集：
由于去雨可以作为识别分类等计算机视觉任务的图像预处理过程，即图像去雨能够提高图像识别的准确率。因此建立了任务型评估数据集，Rain in Driving (RID)用于自动驾驶，Rain in surveillance (RIS)用于视频监控。这两个数据集都是真实图像，符合实际运用场景，并且有bounding box作为标注（标注目标为汽车，行人，自行车…），评价标准为mAP。也就是将去雨前和去雨后的图像都来进行识别，看看去雨对于提高识别精度的效果如何。

4.对比实验
参与对比实验的方法有：
1）Gaussian mixture model prior (GMM) ,注：GMM属于传统方法。
2）Joint Rain DEtection and Removal (JORDER) ,
3）Deep Detail Network (DDN) ,
4）Conditional Generative Adversarial Network (CGAN) ,
5）Density-aware Image De-raining method using a Multistream Dense Network (DID-MDN) ,
6）DeRaindrop，注：主要针对雨点模型，采用注意力机制。

这些方法都在本文的训练集上重新训练。

1）合成数据集上的对比结果：

全参考评价指标： PSNR 和SSIM都是越大越好。无参考评价指标：NIQE值越小，图像质量越好。SSEQ，BLIINDS-II值越大，图像质量越好。加粗字体为最好结果，下划线为第二好结果。总体来说，DDN效果更好。对于雨点模型的数据集，Deraindrop效果更好，应为该方法采用注意力机制就是针对去雨点模型的。同时，也能够看出有些方法处理图像后，评价指标反而下降了。

2）真实数据集上的对比结果：

对于真实图像数据集，JORDER和DDN在雨线数据集上最优。DeRaindrop依然在雨点数据集上表现最优。CGAN在雨线和雨雾数据集上表现最好，这是因为GAN网络的特性，不依赖于特定的雨先验物理模型，对于复杂组成的雨噪声有更好的适应性。

3）真实数据集上的人眼主观对比结果：

可以看到CGAN对雨线数据集的评分最高。GMM对雨点数据集的评分最高，文章指出GMM虽然能够依赖先验知识对雨线和雨点都有去除作用，但对于不同的数据集难有范化能力。DID-MDN对雨线和雨雾数据集的评分最高。

4）真实数据集上的任务型评价对比结果：
先用去雨算法完成去雨，然后采用检测识别算法进行检测识别。
采用的识别算法有： Faster R-CNN (FRCNN) , YOLO-V3 ,SSD-512 ， RetinaNet
这些识别算法是在MS COCO数据集上预训练的。

mAP值越大，表示识别精度越高，即去雨效果对提高识别精度的帮助越大。实验结果表明，多数情况下，去雨算法的处理反而使识别精度降低了。文章指出，由于去雨算法在训练过程中没有以提高识别精度为目标来优化，去雨的过程反而丢失了一些重要的真实语义信息，使得去雨过程降低了识别精度。

5.总结

针对各种图像去雨算法，文章提出了全面的评价标准。基于实验结果和评价分析，对未来图像去雨的研究方向提出了几点设想：
1）雨噪声是多种多样的，我们需要特定的模型来去除特定的雨噪声。实验也证明特定模型对于某一特定的雨噪声的去除效果好。同时，期待将先验知识与数据驱动的深度模型方法结合起来使用。
2）对于所有类型的雨噪声，不存在单一的最好去雨算法。针对真实场景雨噪声具有复杂性特点，采用混合模型来描述雨噪声也许更加有效。同时，构建特定场景下的去雨方法可能更加实用，比如针对交通场景下的视觉问题建立有效去雨方案。
3）传统的感知评价指标（NIQE，SSEQ，BLIINDS-II）可能不太实用于去雨效果的评价。因此，我们需要建立一种更加有效的去雨质量评价指标。同时，没有任何一种去雨算法能够在所有评价指标下实现最优结果，明确去雨要实现的目的更重要。
4）在合成数据集上训练的模型，对复杂真实图像范化能力不足。因此，真实图像非监督学习的方法值得研究。
5）缺少提高识别检测精度的去雨方案。将去雨作为识别检测的预处理过程不是必需的。我们需要能稳定提高识别精度的去雨方案。