CVPR2020论文:Multi-Scale Progressive Fusion Network for Single Image Deraining
开源代码(tensorflow框架):https://github.com/kuihua/MSPFN.
1.主要内容:提出了多尺度渐进融合网络。实现了单幅图像去雨。该网络通过金字塔表示的方式,利用多尺度图像信息呈现雨纹特征。
例如,右边是原始尺度图像,左边是1/2尺度图像。文章指出,同一个尺度图像中,不同位置的雨纹具有相似的结构特征; 不同尺度的图像中,相同位置的雨纹亦有相似的结构特征。因此,我们可以提取、融合多尺度的图像信息作为补充信息,来获取更加精确的雨纹特征。
为了更好地特征化多尺度图像信息的雨纹,文章提出了三个不同的基础模块:粗糙融合模块coarse-fusion module(CFM), 精细融合模块fine-fusion module (FFM) ,重建模块reconstruction module (RM)。这三个模块能够有效提取和融合多尺度图像的雨纹特征信息。
2.网络主体架构:
该网络架构主要分为四个部分:初始特征提取(initial feature extraction)