无监督去雨论文（二）：Unsupervised Single Image Deraining with Self-supervised Constraints

最新推荐文章于 2024-06-17 08:31:25 发布

Phoenixtree_DongZhao

最新推荐文章于 2024-06-17 08:31:25 发布

阅读量1.3k

点赞数

分类专栏： MyDLNote-Enhancement 文章标签：深度学习计算机视觉人工智能

本文链接：https://blog.csdn.net/u014546828/article/details/125158087

版权

MyDLNote-Enhancement 专栏收录该内容

52 篇文章 12 订阅

订阅专栏

Unsupervised Single Image Deraining with Self-supervised Constraints

[pdf]

本文可能是第一篇基于无监督深度学习的去雨算法。

Abstract

Most existing single image deraining methods require learning supervised models from a large set of paired synthetic training data, which limits their generality, scalability and practicality in real-world multimedia applications. Besides, due to lack of labeled-supervised constraints, directly applying existing unsupervised frameworks to the image deraining task will suffer from low-quality recovery.

Therefore, we propose an Unsupervised Deraining Generative Adversarial Network (UD-GAN) to tackle above problems by introducing self-supervised constraints from the intrinsic statistics of unpaired rainy and clean images.

Specifically, we firstly design two collaboratively optimized modules, namely Rain Guidance Module (RGM) and Background Guidance Module (BGM), to take full advantage of rainy image characteristics: The RGM is designed to discriminate real rainy images from fake rainy images which are created based on outputs of the generator with BGM. Simultaneously, the BGM exploits a hierarchical Gaussian-Blur gradient error to ensure background consistency between rainy input and de-rained output.

Secondly, a novel luminance-adjusting adversarial loss is integrated into the clean image discriminator considering the builtin luminance difference between real clean images and derained images.

Comprehensive experiment results on various benchmarking datasets and different training settings show that UD-GAN outperforms existing image deraining methods in both quantitative and qualitative comparisons.

现有的单一图像解训练方法大多需要从大量的成对合成训练数据中学习监督模型，这限制了其在现实多媒体应用中的通用性、可扩展性和实用性。此外，由于缺乏标签监督约束，直接将现有的无监督框架应用于图像解约束任务，恢复质量较低。

因此，本文提出了一种无监督脱机生成对抗网络 (UD- GAN) 来解决上述问题，该网络从未配对的雨和干净图像的内在统计信息中引入了自监督约束。

首先，设计两个协作优化模块，即雨引导模块 (RGM) 和背景引导模块 (BGM)，充分利用雨的形象特点：RGM 旨在区分真正的雨图像假雨图像（基于 BGM 的生成器的输出）。同时，BGM 利用分层高斯模糊梯度误差来确保雨天输入和雨天输出之间的背景一致性。

其次，考虑到干净图像与非干净图像之间的亮度差异，在干净图像判别器中引入了一种新的亮度调节对抗损耗算法。

在不同的基准数据集和不同的训练设置下的综合实验结果表明，UD-GAN 方法在定量和定性上都优于现有的图像去解算法。

3. UD-GAN

如图 3 所示，本文的目标是，给定随机和不成对训练样本 $\{r_i\}^ N_{ i=1 }\in {R}$ 和 $\{c_j\}^M_{j=1} \in C$ ，学会从雨域 R 变换到目标清洁域 C。第一个生成器 Gc 是用于将雨输入图像转换到干净输出图像，即 deraining 变换: R→C。相应地，对抗判别器器 Dc 用于区分真正的干净图像 C 和生成的 de-rain 图像C˜:

然而，仅用对抗成本训练去雨生成器 Gc 可能会在生成的去雨输出的某些区域引入视觉伪影 [22]，但干净的图像判别器 Dc 最终仍然会将其分类为真实数据而不是生成数据。

为了解决这一问题，下面将介绍脱轨问题的内在统计的自监督约束。

3.1. Self-supervision by Rainy Image

3.1.1 Rain Guidance Module (RGM)

As discussed above, existing unsupervised frameworks tend to suffer from the under-constrained problem due to lack of labeled-supervised constraints and hard to capture the varied transformations from rainy inputs to clean outputs due to the diversity of rain streaks. Hence, we introduce a Rain Guidance Module (RGM) to take full advantage of the intrinsic statistics of original rainy inputs, and in turn use the learned rain characteristics to guide in better deraining.

如前所述，由于缺乏标签监督约束，现有的无监督框架往往会遇到约束不足的问题，而且由于降雨条纹的多样性，难以捕捉从降雨输入到清洁输出的各种转换。

因此，本文引入一个雨引导模块 (RGM) 来充分利用原始降雨输入的内在统计信息，进而利用学习到的雨特征来指导更好的去雨。

基于广泛使用的雨模型: R = C + S，本文利用干净图像 C 和雨条纹 S 之间的内部相互依赖来间接约束生成器 Gc 的去雨输出 C˜ 。

如图 3 所示，RGM 主要依赖于一个独立的判别器 Ds。

首先，获得雨输入 R 之间的差异 (即删除的雨条纹 S˜) 和去雨输出 C˜ ： S˜= R−C˜。

然后，叠加雨条纹 S˜ 到真正的干净的图像 C，来创建假的雨天图像：S˜+C，并通过雨条纹判别器 Ds 将它们从真实的雨天图像 R 区分开来: