【论文】AttentiveGAN用于单幅图像的雨滴消除

Rui Qian, Robby T.TAN, Wenhan Yang, JiajunSu and etc.

Institute of Computer Science and Technology,Peking University(Beijing,P.R.China);National University of Singapore (Yale-NUS College)

摘要：附着于玻璃窗或者相机镜头的雨滴严重降低了背景场景的能见度，也相当程度使图像退化。本文中，我们通过可视地消除雨滴来解决这个问题，并因此将因为雨滴退化的图像转化为一张没有雨滴的图像。这个问题很难处理，因为首先，被雨滴遮挡区域是不可知的。第二，关于被遮挡区域的背景场景的信息基本上就完全丢失了。为了解决这个问题，我们用对抗训练来实现一个注意力生成式网络。我们主要的想法就是将视觉注意力添加到生成网络和判别网络。训练期间，我们的视觉注意力学习了雨滴区域和这些区域的周围情况。因此，通过添加这些信息，生成式网络将更关注于雨滴及其周围区域的结构，而判别网络将可以得到存储区域的局部连续性。这种同时给生成网络和判别网络添加视觉注意力的做法是本文的主要贡献。我们的实验显示这种方法是有效的，且该方法从质量和数量上都是（比其他方法）更优的方法。