CVPR2017原论文:Deep Joint Rain Detection and Removal from a Single Image
开源代码(pytorch框架):https://github.com/flyywh/JORDER-E-Deep-Image-Deraining-TPAMI-2019-Journal
1.主要内容:
提出了一种基于位置区域分布的雨模型。文章提出使用一个雨纹二值掩膜去标记雨点的位置区域,即掩膜为1的像素点代表有雨点的像素,掩膜值为0的像素点代表没有雨点的像素。该雨模型还能够表现不同形状,不同方向的雨纹叠加的情况,能较好描述暴雨的情况。
依据提出的雨模型,提出了联合检测去雨的方法。即先检测出雨点区域,形状,方向等信息,然后利用这些额外信息实现更好的去雨效果。
提出了上下文扩张网络。该网络能够提供更加丰富的上下文局部细节特征。
针对暴雨情况下,提出了网络循环去雨方案。逐步优化去雨的方式,对暴雨图像能够实现较好效果。
2.雨模型
传统的雨模型为:含雨图像=背景图像+雨纹图像,即下图公式:
这种雨模型相当于将去雨问题转化为了分离背景图像和雨纹图像的问题。然而,雨纹图像需要同时描述雨点的位置形状和密度,因而这个模型存在两个缺点:1)雨纹是由许多不同形状的雨点构成的,而且暴雨的雨纹密度更大。很难直接去描述雨纹图像。2)直接将有雨的区域和无雨的区域分离会导致无雨的区域过度平滑。