去雨算法：Image De-raining Using a Conditional Generative Adversarial Network

0 基本信息

时间：2017
期刊会议级别：IEEE
亮点：使用对抗神经网络GAN；新的损失函数

1、生成器（Generator with Symmetric Structure）

生成器为图片中的上半部分，功能为将有雨的图像转化为无雨图像，图片进入网络之后，会依次经过N个 （Dense+transition）。
每个Dense将由n*layer组成，这些layer是平行存在的，每个layer包括三个步骤： batch normalization (BN), leaky rectified linear units (LReLU) and a 3×3 convolution。最后n个layer 叠加在一起：

transition主要为以下三个步骤当中的其中一个：up-sampling (Tu), down-sampling (T d) or no-sampling operation (T n)。
论文中每个层使用细节，如下表所示：

同时，各个dense之间也采用一种类似于残差网络的形式，将细节信息保留下来，具体可以查看论文：Densely connected convolutional networks。

2 辨别器（Multi-scale Discriminator）

辨别器为图中下半部分，功能为通过将真实的无雨图像和生成器生成的无雨图像区分来，来不断优化生成器的参数。辨别器的网络比较简单，就是一个端到端的网络，前面是一些顺序的卷积神经网络，中间加入了一次多尺度感知的网络。结合如下网络细节，即可看到网络全貌：

3 生成器损失

生成器的损失，由三部分组成，L_E是传统的基于像素点的损失，例如欧几里得损失（Euclidean loss），L_A是对抗损失，由辨别器指导。L_P为感性损失（perceptual loss ），其实就是在欧几里得损失上加一个非线性的卷积神经网络，参考论文：Perceptual losses for realtime style transfer and super-resolution

4 感悟

1、本文为作者看的第一篇关于GAN的文章，所以看的时候需要查阅很多其他论文和教程，看的非常艰难，截止到写这篇文章，还是没有搞懂GAN的细节部分，应该需要去代码里面寻找了。
2、本文使用GAN作为去雨的网络，在当时应该是常见期刊会议中首次用在去雨模型当中，取得了不错的效果。
3、本文当中使用的perceptual loss，在其他去雨论文中不多见，不知道是否真的有较好的影响。