derain survey

图像分解：

使用双边滤波将图像分解为低频和高频部分，分别包含图像的结构和纹理，然后对高频部分根据HOG特征（方向直方图）进行聚为2类（雨纹和背景纹理），对两个部分进行稀疏编码来实现基于MCA方法的图像分解效果。最后将高频部分的结合分量与低频部分进行积分得到去雨后的图像。

 

联合去雨网络：

解决：

1. ACM模型区域导致的背景模糊

2.不同方向的雨纹叠加

.3,雨累积形成的雨雾降低了背景和雨纹变的可见度

创新：

1.HRM模型

2.迭代去雨

 

Removing rain from single images via a deep detail network

解决：

1. 当纹理特征和雨纹特征很相似时，很难在去除雨纹的同时，保留细节信息

创新：

1.使用负残差结构表示雨图和干净图之间的差异，减少预测范围，使得模型更容易进行深度学习。

2. 使细节层作为输入，消除背景干扰。提高雨纹质量。

3.适当的网络设计，使得深层网络处理低层次图像任务

 

Joint Convolutional Analysis and Synthesis Sparse Representation for Single Image Layer Separation

解决：

1.ASR系数在相对平滑的区域是非常稀疏的，但是它会在纹理区域产生许多非零。在纹理区域具有稀疏非零的情况下，SSR需要更多的非零系数来逼近平滑区域。因此使用不同的稀疏表示来逼近图像的两个分量（平滑区，纹理区）

《稀疏表示主要用于图像去噪、超分辨率、压缩》

2.使用判别稀疏编码方法[25]和高斯混合模型[24]。然而，这些方法采用同一类型的模型来表征背景部分和雨纹部分，需要外部数据对这两层进行不同的字典或GMM模型训练。

3.Retinex decomposition model，一类方法采用保持边缘平滑的方法，如双边滤波[9]和引导滤波[18]，直接从观测图像生成分段平滑基层。另一类方法[10,14]在基础层上施加先验，通过求解优化问题得到分离结果

 

AttrGAN

解决：

1. 以前的雨滴去除方法使用立体相机、视频、光学快门，不适于单幅图像。

2. 深度学习去除雨滴的方法会产生模糊的输出，而且只能处理小的雨滴，不能处理大的、密集的雨滴

 

Gated Context Aggregation Network for Image Dehazing and Deraining

1. 使用平滑空洞卷积，解决空洞卷积的网格效应

2. 使用门控融合，对不同层的特征进行加权求和（采用3X3 的卷积实现）

 

Uncertainty Guided Multi-Scale Residual Learning-using a Cycle Spinning CNN for Single Image De-Raining

1. 使用循坏自旋网络去除伪影（用于去除正交小波变换去噪时映入的伪影，对深度学习的方法通用）。就是对输入图片在行、列方向上做一个像素循环移位，图像自增强。

2. 使用残差图和置信图，作为雨纹位置信息的指导，解决过度去雨和去雨不足的问题。（分别使用残差网络和置信网络得到）

残差网络：Convblock(64,32)-Convblock(32,32)-Convblock(32,3)、

置信网络：Convblock(67,16)-Convblock(16,16)-Convblock(16,3)

 

Progressive Image Deraining Networks: A Better and Simpler Baseline

1. 引入LSTM的各个阶段作为输入，传递跨阶段的特征依赖，便于去除雨纹。（相比GRU更好）

2. 使用阶段间递归运算而不是共享权重，在少量降低性能的情况下，大大降低网络参数

 

https://github.com/csdwren/PReNet.

 

Semi-supervised Transfer Learning for Image Rain Removal

1. 使用KL散度让模拟雨的分布接近真实雨的高斯分布

loss

Gx GMM  - 训练阶段学习到的雨条纹分布

1.无监督损失（最小二乘）

2. 全差分正则化（对相邻像素差值求和），对图像进行微平滑，去除潜在的雨纹。

3. ？？？

猜想：

1.使用KL散度让合成雨纹逼近真实雨纹，然后用优化过后的雨纹生成雨纹图像，送入神经网络学习，提取雨纹，这样网络就更善于提取真实的雨纹。

2. 非监督模块是否会更新网络参数？？

 

Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning∗

1. 分层提取物理模型参数

2.更具透射率T估计场景深度，用特征乘以深度图，让辨别器更关注远处的场景，防止去雾时引起的物体发暗。

3.由于J（clean）的生成对A非常敏感，因此将A作为输入。

 

Syn2Real Transfer Learning for Image Deraining using Gaussian Processes

引入将无标签图像用于训练，提高泛化性能。

对每个无标签图像编码后的特征向量，在有标签数据中，找k近邻，用其均值作为伪标签，然后计算特征向量与伪标签的损失,根据损失更新编码器的权重，让编码器适用于无标签的数据。

 

 

Multi-Scale Progressive Fusion Network for Single Image Deraining

1.创新点

考虑多尺度特征的相关性。

不同于级联金字塔，只使用高层特征帮助相邻金字塔表示，导致一些有用的层次和尺度特征丢失。

 

 

Detail-recovery Image Deraining via Context Aggregation Networks

1. 将去雨与图像恢复分离

2.

 

squeeze-and-excitation

根据通道包含上下文信息，赋予不同的权重