论文阅读：Attentive Generative Adversarial Network for Raindrop Removal from A Single Image

最新推荐文章于 2021-03-23 10:42:20 发布

行走的歌

最新推荐文章于 2021-03-23 10:42:20 发布

阅读量2k

点赞数 1

分类专栏：文献阅读图像处理文章标签：计算机视觉神经网络机器学习人工智能

本文链接：https://blog.csdn.net/wang_chaochen/article/details/106969492

版权

顺手把这两篇比较相像的GAN网络整理一下。

心有猛虎，细嗅蔷薇。

2018CVPR：Attentive GAN

本篇文章是2018年一篇CVPR，主要是针对雨滴Raindrop的去除提出了一种方法，在GAN网络中引入注意力机制，将生成的注意力图和原始有雨图像一起输入，完成去雨。是北大Jiaying Liu老师课题组的一篇文章，同组比较知名的去雨方面研究还有杨文瀚。

在这里插入图片描述
作者源代码：戳我
python3.5复现代码：戳我

作者指出，对于雨滴去除问题，首先是被雨滴遮挡的区域没有给出，其次大部分被遮挡区域的背景信息完全丢失，因此存在一定的挑战性。本文则是使用了一种基于对抗训练的注意力生成网络，在生成网络和判别网络中引入视觉注意力信息。并且在训练中视觉注意力学习雨滴区域和其周围信息，引入视觉注意力机制后，生成网络就会更加关注雨滴区域和周围结构，判别网络则能评估恢复区域的局部一致性。
关键词： 雨滴 + GAN + 视觉注意力

前人的工作及缺陷：

雨滴检测和去除问题已提出了一些解决方法。
有一些方法致力于探测雨滴，但没有移除它们。
其他方法利用立体视觉、视频流或特殊设计的光学快门来检测和去除雨滴，因此不适用于普通单帧图像。
Eigen等人提出了一种方法（一个三层的CNN网络），试图通过深度学习的方法，基于单幅图像去除雨滴或污垢。然而，它只能去除图像中的小雨滴，而且输出图像比较模糊，并且该方法无法处理相对较大和稠密的雨滴。