Multi-Scale Progressive Fusion Network for Single Image Deraining
论文下载:Multi-Scale Progressive Fusion Network for Single Image Deraining
代码开源:kuihua/MSPFN
表现SOTA!性能优于PreNet、SEMI和RESCAN等网络,代码即将开源!
作者团队:武汉大学&UNCC&哈工大等
空气中的雨条纹(Rain streaks)由于其位置到相机的距离不同而出现各种模糊程度和分辨率。在下雨图像中以及在其多尺度(或多分辨率)版本中都可以看到类似的雨模式,这使得可以利用此类补充信息来表示雨条纹。
在这项工作中,作者团队从输入图像比例和层次化深度特征的统一框架(称为多尺度渐进融合网络(MSPFN),用于去除单个图像去雨)中探索雨条纹的多尺度协作表示。对于不同位置的相似雨条纹,采用递归计算来捕获全局纹理,从而允许在空间维度上探索互补和冗余的信息以表征目标雨条纹。
此外,本文还构建了多尺度金字塔结构,并进一步引入了注意力机制,以指导不同尺度下该相关信息的精细融合。这种多尺度渐进融合策略不仅可以促进合作,而且可以促进端到端训练。该提出的方法在几个基准数据集上得到了广泛的评估,并获得了最新的结果。此外,还进行了联合去雨,检测和分割任务的实验,并激发了视觉任务驱动图像去雨的新研究方向。