RainDiffusion: When Unsupervised Learning Meets Diffusion Models for Real-world Image Deraining

一．摘要、介绍及相关工作

       传统方法：图像去雨的传统方法通常利用不同的先验，例如稀疏编码，高斯混合模型和低秩表示。然而，这些手工制作的先验表现出有限的代表性能力，导致在复杂和多变的下雨情况下的结果不佳。

       监督：通过从大量合成的无雨/下雨图像对中学习，基于深度学习的去雨技术性能得到了大幅提高。这些监督的方法通常实现次优性能的真实世界的雨天图像，因为i）合成和真实世界的雨天图像之间的域差距的存在，和ii）收集大规模的真实世界的无雨/雨天图像对的困难。

       半监督：为了缓解上述问题，半监督去雨技术利用成对的合成数据进行良好的初始化，并利用不成对的真实世界数据进行泛化。但由于合成图像的雨型是固定的，而真实图像的雨型是动态变化的，因此适用性仍然有限。

       此外，CycleGAN 的引入使生成对抗网络（GANs）成为现实世界图像去雨任务的首选模型，因为它们避免了对配对数据的需求。然而，基于GAN的方法难以训练并受到一系列问题的影响，例如过早收敛、模型崩溃和优化不稳定性，从而导致图像退化。

总结图像去雨的两个主要障碍：

       1、真实世界的多雨图像缺乏相应的干净图像，这对现有的扩散模型提出了挑战，这些模型通常优先考虑合成退化场景，但合成数据上训练的模型很难有效地处理复杂的现实世界的降雨。

        2、真实世界的雨具有不同尺度，包括不同的方向，密度，大小等。这些多尺度雨模式表现出明显的自相似性，这意味着不同尺度上的相关信息可以潜在地增强特征表示能力。然而，现有的扩散模型主要是为单尺度图像处理而设计的。

二．方法

       RainDiffusion是第一个用于真实世界图像去雨的基于扩散的模型。它由两个主要的交互分支组成：Nondiffusive Translation Branch（NTB）和Diffusive Translation Branch（DTB）。NTB引导初始晴天/下雨图像对的生成，而DTB利用两个多尺度扩散模型来约束晴天和下雨图像之间的转换。

     NTB：作用是生成成对的无雨/有雨图像，采用U-net实现。输入不成对的无雨图x、有雨图y，GA负责由无雨图生成有雨图，GB负责由有雨图生成无雨图，形成循环结构。

       NTB与其他循环结构的区别在于:1)NTB不需要判别器进行对抗性训练。2) NTB生成器用于生成成对的洁净/雨天图像，用于扩散模型训练。因此，GA和GB只在训练阶段使用，不参与测试阶段的图像去噪。

       损失函数为：

      DTB：作用是使用扩散模型进行去雨/生成雨。正向扩散过程不做修改，逆向扩散过程变为：

     即给定高斯噪音以及生成的有雨图，推断无雨图。损失函数为：

       在真实世界的场景中，雨表现出多样性，但不限于不同的方向、密度和大小。这在直接实现扩散模型以执行真实世界的图像解析方面提出了一个相当大的挑战。因此，我们将不同尺度雨纹的这种相关性纳入扩散生成过程中。设计了多尺度扩散模型。

三．实验及结论

      RainDiffusion比目前的un/semi-supervised方法表现得更好，也比完全监督方法具有竞争优势。