EfficientDeRain

Abstract:

由于未知的降雨模型，单图像去雨是相当具有挑战性的。现有方法通常对降雨模型做出特定假设，而这些假设几乎无法涵盖现实世界中的许多不同情况，因此必须采用复杂的优化或逐步完善。但是，这严重影响了这些方法对许多对效率至关重要的应用程序的效率。为了填补这一空白，在本文中，我们将单图像去雨作为一般的图像增强问题，并最初提出了一种无模式的去雨的方法，即Efficient-DeRain，该方法能够在10毫秒内处理带雨图像（即平均大约6毫秒），比最先进的方法（即RCDNet）快80倍以上，同时达到相似的去雨效果。我们首先提出新颖的逐像素膨胀滤波。特别地，用从内核预测网络估计的逐像素内核来过滤带雨图像，由此可以有效地预测每个像素的合适的多尺度内核。然后，为消除合成数据与真实数据之间的差距，我们进一步提出了一种有效的数据增强方法（即RainMix），该方法有助于训练网络进行真实的雨天图像处理。效果如下图：

Introduction：

总结本文动机和创新：

1.之前的去雨方法很多都是基于去雨模式假设或者先验知识的，去雨网络需要大量的细调优化过程，非常耗时的同时无法覆盖真实降雨场景的各种情况。因此，本文将去雨问题看作是普通的图像增强问题，用逐像素预测滤波核的方法去做去雨，是一种无模式的去雨方法。

2.单一尺度的逐像素滤波核无法适应不同厚度、强度以及尺度的降雨条纹，因此本文提出Multi-dilated image filtering and fusion，即用不同膨胀率卷积来代表不同尺度的滤波核，以此来解决多尺度的问题。

3.现有图像去雨方法都是在合成数据集上训练，拿到现实场景中泛化性就很差，为了弥补这种差距。本文提出RainMix的数据增广方法，即将现实场景中的降雨条纹与合成图像进行mix。因此，本文方法在真实场景中表现也很优异

4.同时实现了高性能和高效去雨。 如上图所示，所示本文方法（即EfDeRain）的运行速度比最新方法RCDNet快88倍。

Methodology：

A.Pixel-wise Image Filtering for Deraining：