关于图像去雨RESCAN的理解-CSDN博客

本文链接：https://blog.csdn.net/mmegumi7/article/details/147872135

1、图像去雨的背景与意义

图像去雨指的是从受雨滴影响的图像中去除雨滴，以便获得更清晰的图像。

在许多实际应用场景中，如监控视频、自动驾驶等，摄像头所捕获的图像容易受到恶劣天气条件的影响，尤其是雨天。雨滴会降低图像的质量，导致目标检测、跟踪等任务的性能下降。因此，图像去雨技术对于提高这些任务的准确性具有重要价值。

2、基于深度学习的图像去雨（RESCAN）

作者指出基于视频的方法可以通过分析相邻帧之间的差异来利用时间信息，因此较容易的可以去除雨纹。
常用的雨模型，用于将观测到的雨图像分解为无雨背景场景和雨带层的线性组合:
在这里插入图片描述
进一步考虑大气光照将成像模型扩展为：

A代表大气光强度，α0代表传输率，αn代表不同雨层的亮度

网络架构

SCAN网络结构
在这里插入图片描述

逐步消除雨带。在每个阶段，我们使用带有se块的上下文聚合网络来消除雨条纹。

SCAN
RESCAN的基本模型是一个无递归的正向网络。我们通过用挤压和激励块扩展上下文聚合连接来实现它，并将其命名为上下文聚合连接网络。
设置DF的数值以扩大网络的感受野。对于特征图，我们把它们的每个通道看作是一个雨带层的嵌入。我们给不同的训练雨层分配不同的α值
为了明确地为每个图像导入每个网络层上的权重，我们用SE块，它为每个项目的每个通道计算归一化的阿尔法值。

Recurrent SE Context Aggregation Net 递归SE上下文聚合网络
因为有不同的雨层重叠，不可能通过一步就简单的将所有的雨层去除掉，因此设计递归网络逐步去除。用如下公式表述：

递归结构只能被视为同一网络的简单级联。之前的工作只是将上一阶段的输出图像作为当前阶段的输入，而没有考虑这些阶段之间的特征联系。研究不同标记的特征之间的循环联系比只使用当前的结构更有意义。我们在RNN建立了一个具有记忆单元的网络(31)，以便更好地利用前一阶段的信息，并在后一阶段指导特征学习。将上述第二个公式改成如下形式：

在这里插入图片描述