深度学习——attentive-gan-derainnet

最新推荐文章于 2024-08-16 07:55:50 发布

浮生若梦，为欢几何耶

最新推荐文章于 2024-08-16 07:55:50 发布

阅读量1.2k

点赞数

分类专栏：深度学习--降噪文章标签：深度学习 tensorflow 神经网络计算机视觉 python

本文链接：https://blog.csdn.net/weixin_51352656/article/details/111881839

版权

本文介绍了CVPR2018的Attentive GAN for Raindrop Removal方法，该方法利用注意力机制的对抗生成网络去除单幅图像中的雨滴。通过在生成器和判别器中加入注意力机制，网络能够学习并聚焦于雨点区域，以恢复清晰图像。主要难点在于雨点重叠导致的背景信息丢失。网络结构包括注意力生成网络（由注意力循环网络和自编码器组成）和判别器网络，采用多尺度损失和感知损失函数进行训练。

摘要由CSDN通过智能技术生成

CVPR2018原论文：Attentive Generative Adversarial Network for Raindrop Removal from A Single Image
开源代码（tensorflow框架）：https://github.com/MaybeShewill-CV/attentive-gan-derainnet
1.主要工作：提出了注意力机制的对抗生成网络完成单幅图像的去雨。最大创新点在于：在生成器网络和判别器网络分别插入注意力机制。在训练过程中，注意力机制能够学习到雨点的区域和其周围的环境。通过这些信息，生成器网能够更多注意到雨点区域及其周边环境，判别器网络能够更容易评估图像恢复重建区域的局部一致性。

在这里插入图片描述

雨点图像的特点：依附在玻璃上的雨点降低了背景影像的可见性。这些雨点使得背景影像信息丢失。而且不同区域的雨点造成不同的背景信息丢失。同时，由于相机通常聚焦在背景图像，这使得雨点变得模糊。实现这种单幅图像去雨具有两大难点：1，雨点重叠的背景图像区域是未知的。2，很多部分的背景图像区域信息已经完全丢失，尤其是当雨点比较大的时候。然而，雨点是透明的，具有折射光线的能力。在边缘和透明的地方反而包含了部分背景信息。这些信息能够被利用起来，重建清晰的图像。

2.主体网络结构：
在这里插入图片描述