论文阅读：Image De-raining Using a Conditional Generative Adversarial Network

arXiv2017/2019 TCSVT： ID-CGAN

本篇文章是2017年提出的一种基于cGAN网络的一种新的去雨网络。主要是试图使用具有强大的生成建模能力的条件GAN网络加上一个强制约束，即去雨图像必须与相应的背景图像不可区分。同时GAN网络的对抗损失提供了额外的正则化。同时，还提出了一种新的细化损失函数，旨在减少GAN网络引入的伪影。生成器子网络使用了密集连接网络，判别器则是利用全局和局部信息来判断图像是真是假。

创新之处：
1、提出了一种基于cGAN网络的框架用于处理单幅图像去雨问题，同时不需要任何后续处理。
2、提出了一个密集连接的生成器子网络。
3、提出了一种多尺度鉴别器，利用局部信息和全局信息来判断去雨图像的真伪。

对前人工作改进：

现有的基于CNN 的方法只最小化L2误差，但由于问题的病态性质，这些方法需要额外的正则化。
来自CGANs的对抗损失被用作额外的正则化器，并且使用鉴别器对真实/虚假样本进行分类提供了额外的反馈。
ID-CGAN主要由两个子网络组成：密集连接的生成器和多尺度的判别器。
判别器主要通过多尺度池来捕获上下文信息。
同时在GAN网络训练时会引入伪影，这里引入一个改进的感知损失作为额外的损失函数来去除伪影。

网络结构：

其中，Dense Block 是密集连接网络，Transition为采样模块

具体工作：

1、GAN目标函数

其中，G为生成器，D是判别器

2、对称结构的生成器

在分离之后，新的域中的背景图像必须要转换回原来的域，这便要求了对称结构的使用。
密集块体使强梯度流动成为可能，并提高了参数效率。此外，我们还引入了跨越密集块的跳跃连接，以有效地利用来自不同级别的特性，并保证更好的收敛性。

第 j 个dense block 可以表示为：

其中，Dj，i 表示Dj dense block中的第i层的特征。
dense block的每一层都由BN + LReLU + 一个3x3的卷积

生成器的结构：

其中，CBLP是一组卷积层，后面依次是BN 、leaky ReLU 激活函数和池化模块，括号内的数字表示每个块的输出特征映射的通道数。

详细结构为：

3、多尺度判别器

前人工作发现，基于Patch的判别是有效的，但是仍然不能捕捉到足够的上下文全局信息。
因此，需要一个更强大的判别器捕捉局部和全局信息来判断图像是真是假。

图中，前部分的蓝色方块代表了卷积函数+BN+ PReLU 。中间为一个多尺度的池化模块，能在不同尺度下池化特征，最后是一个1x1的卷积层和一个sigmoid函数，用于生成标准化的概率分数[0,1]。

判别器的网络结构：

4、改进的感知损失函数

GANs训练中会引入伪影，于是引入感知损失来去除伪影。

新的损失函数为：

其中，每个像素的欧几里得损失为：

感知损失为：

对抗损失为：

训练：

使用PS自建合成数据集
700张训练图，100张测试 256x256

50张真实世界图片

评价指标：
PSNR、SSIM、UQI、VIF

参数设置：
batch-size = 1
itrations = 100k
学习率 = 0.002

做了消融实验和对比实验

分页符