论文阅读笔记 A Unified Single Image De-raining Model via Region Adaptive Coupled Network

摘要

由于雨水的的多样性以及不均匀的分布，单图像去雨是具有挑战性的。通过专用的模型和一些约束条件，现存的一些模型在一些特定的的雨类型上表现的很好。但是这些模型的生成能力也受到限制。在这篇文章中，通过有选择性地融合输入图像中没有雨的背景和已经恢复的有雨的区域。区域自适应结合网络(RACN),这个网络包括两个分支，这两个分支的特征相互结合。两个分支分别产生空间上可变的权重和已恢复的图像。在一方面，加权分支可以引导恢复分支更关注需要去雨的区域。另一方面，恢复分支可以引导权重分支远离没有雨的区域，避免过度滤波。实验说明这个模型的表现不错。

背景介绍

pass

算法详细描述

A，基于图像融合的去雨模型

由于雨痕或雨滴的分布是不均匀的，用下面的公式总结我们的融合方法。

O代表输出图像，x是输入有雨图像，M表示空间加权图，范围是【0，1】，R是恢复图像 ，o符号是像素级乘法，f表示特征。文章对雨的类型和去雨模型的分布不做假设。相反，他们把x和R看成相同场景的不同观察图像，这两张图片具有不同的失真，通过融合这两个图像来得到更加准确的观察值。在x和R上施加的权重是互补的，一个是M，一个是1-M。M在不同的位置上强调好的观察值，抑制不好的观察值。与已有的模型不同的是，这个模型既可以强调没有雨的部分，也可以抑制有雨的区域，避免在不同的区域重复滤波。

B，区域自适应结合网络

如上图所示，RACN包括两个部分，权重图生成网络WMG，图像恢复网络IR。这两个分支在主干网络上是共享的。Resblock的stride=2，用来代替pooling，其他地方没什么讲究的，看图就可以明白。
后面就略过了

思考以及文章的创新点

1，文章考虑到重复滤波的问题，用加权特征图来引导去雨。
2，在主干网络上的融合方式，两个Unet的特征交叉融合
3，最后的互补融合方式