《Attentive Generative Adversarial Network for Raindrop Removal from A Single Image》论文阅读

一、文章总结

这篇论文主要介绍了作者所在的研究团队所设计出的一个新的、利用单张图片去除图片中雨滴的算法。

作者认为实现这一问题的困难主要在两个方面：1、雨滴所在区域并没有被提前圈出；2、雨滴覆盖部分的图片信息大部分缺失。针对以上这两个问题，作者认为去除图片中的雨滴需要分三步。第一步是识别图片中的雨滴区域；第二步是利用雨滴区域附近的没有雨滴的区域对雨滴覆盖区域进行复原，以还原原本的图像；第三步则是对还原图像进行识别，判别还原结果，以确保复原后的图片不会有较大的人工修改痕迹。

作者使用了两种不同的神经网络来实现这三步，作者使用了Generative Network来识别图像中的雨滴，并对其进行复原。通过使用Discriminative Network来对复原后的图片进行识别，以提高复原质量。

作者同时提出，其方法最主要的突破就在于通过Generative Network生成“visual attention”，并将其使用在之后的所有步骤中。这一做法不仅提高了识别的精确程度，同时也缩小了需要还原的区域，并在一定程度上给出了还原图像所需背景信息的获取区域。在最后的检验过程中，作者也使用了“visual attention”，这一做法起到了缩小识别区域的作用，与提前人为划定雨滴范围有着相同的作用。

二、文章解读

A、解决问题

雨点滴落在镜头或是玻璃上会对拍摄出的图像有遮挡作用，这一作用使得通过镜头上有水珠的相机拍摄出的图像上会出现一个个的雨点，破坏了图片中应有信息的完整程度。

与其他的数字图像处理技术不同，去除雨点主要难在雨点模型的组成。雨点模型如下式所示：

式中I表示输入的图像，也就是表面有雨滴的图像；M表示该区域上存在雨点的可能性，M=1表示该区域必定存在雨点，M=0表示该区域一定不存在雨点，M的值在0-1上连续分布，值越大越有可能属于雨点遮盖区域。B表示镜头没有雨滴时拍出的图像，可以称之为真实图像。R表示由于雨点所带来的对于该部分原图像的干扰。

 

与雾气、污垢、粉尘等因素不同，雨滴对于图像的干扰并不单单体现在遮挡了原本图像中的信息。由于雨滴是透明且具有一定形状的，所以他对于原图像的干扰表现在使得这部分的图像摄入镜头的光发生了大角度的折射，同时也将一部分原本不该出现在这部分的物体的光折射入相机。

考虑到这一点后，之前人所做的例如去雾、去污、去雨线等算法在去雨滴领域都不能直接被使