基于多尺度和循环生成对抗的连接式去雨网络

目录

引言

1 相关工作

1.1 图像去雨

1.2 生成对抗网络

2 多尺度和循环生成对抗的连接式图像去雨方法

图1

2.1 多尺度和循环生成对抗的连接式去雨网络

2.2 损失函数

3 实验与分析

3.1 训练环境和参数设置

3.2 数据集和评价指标

3.3 消融实验

3.4 实验结果与分析

图2

图3

4 结论

---

摘要

【目的】 图像去雨能够作为其他计算机视觉任务的预处理步骤，使自动驾驶、目标识别等其他计算机视觉任务的结果进一步得到提升。【方法】 本文将多尺度信息交换与循环生成对抗网络进行了连接，提出的方法根据训练步骤分为两个部分，首先通过多尺度信息交换得到雨水条纹信息进行初去雨，然后通过循环生成对抗网络对初去雨图像进行进一步增强，以得到效果最佳的去雨图像。【结果】 该方法能够有效地去除图像中的雨水信息，恢复出清晰的图像。本文去雨结果在PSNR（Peak Signal to Noise Ratio）和SSIM（Structural Similarity）评价指标上取得了较高的结果，能够更好地保留图像的细节。【结论】 通过在合成数据集以及真实图像上与其他图像去雨方法的结果进行对比，本文的方法取得了较好的效果，能够更好地为其他计算机视觉任务提供支持。

关键词： 图像处理; 图像去雨; 多尺度信息交换; 循环生成对抗网络

引言

众所周知，恶劣天气对于采集的图像和视频质量有一定程度的影响，相较于正常天气而言，其会导致图像和视频质量的下降。主要原因在于恶劣的天气条件易对传感器造成干扰，如遮挡摄像头和折射光线等，进而导致采集到的图像和视频质量下降。对于降雨天气来说，雨水会对图像和视频中信息的获取造成干扰。在使用这种情况下获得的图像和视频进行一系列的计算机视觉任务时，由于雨水条纹信息的存在，会导致所需要进行任务最终结果的精度降低甚至失败，例如目标检测[1]、图像识别[2]、显著性监测[3]和自动驾驶等。因此，如何有效地去除图像和视频中的雨水作为一个重要的研究课题，已经成为其他相关应用和算法中必不可少的步骤，在计算机视觉和模式识别领域得到越来越多的关注。

从数据格式的角度划分，去除雨水的方法可分为两类，基于视频的去雨方法[4⇓⇓-7]和单幅图像去雨方法[8⇓⇓⇓⇓-13]。基于视频的去雨方法当中，可以利用雨水的时间冗余和动态等信息达到清除雨水条纹的目的。与基于视频的方法相比，单幅图像去雨方法缺少参考信息，导致任务难度提升。由于现实中雨水条纹的不规则性和不确定性，单幅图像去雨仍然具有一定程度的挑战性。具体来说，单幅图像去雨的主要任务可以由以下物理模型[9]进行解释，通过去除雨天图像中的雨水条纹，得到清晰的背景图像，公式如下：

X=R+BX=R+B

（1）

为解决这一问题，人们提出了许多不同的方法。早期的单幅图像去雨方法大多基于模型驱动，通过对雨水条纹或背景信息的统计分析进行去雨。基于模型驱动的单幅图像去雨方法包括字典学习[8]、高斯混合模型（Gaussian Mixture Model）[14]和低秩模型（low rank model）[15]。然而，在真实场景当中，雨水条纹的存在会对背景产生一定程度的覆盖并且会对光的折射产生影响。也就是说，雨水条纹信息和背景信息是一个复杂的物理模型，而不仅仅是简单的线性叠加。因此，模型驱动的方法对单幅图像去雨的效果并不理想。

近几年来，深度学习方法在计算机视觉各项任务中的表现优异，发展迅速，与传统方法相比具有显著优势。由于神经网络模型展现出优越的提取特征和重建能力，基于深度学习的图像去雨方法取得了显著进展，逐渐成为了目前用于解决单幅图像去雨任务的主流方法。Yang等[16]提出了一种联合雨水检测去雨模型。Zhang等[17]使用条件GAN（Generative Adverarial Network）增强无雨图像的色彩和对比度分析，以此恢复清晰的图像。许多不同的方法都通过估计雨水条纹恢复无雨图像，但这些方法[16⇓⇓⇓-20]忽略了物理模型可以用于去雨任务的先验指导。由于雨滴在不同的尺度和位置具有不同的特征，多尺度方法可以被用于更好地提取雨水条纹特征。DCSFN（Deep Cross-scale Fusion Network）[21]和MSPFN（Multi-scale Progressive Fusion Network）[22]使用多尺度信息对结果进行改善，这些方法通过改变感受野（Receptive Field），将不同尺度间的信息有效交换，进而捕捉雨水条纹的不同状态。

本文提出了一种基于雨水条纹检测和图像修复的连接式图像去雨方法。具体来说，本文中的方法通过多个多尺度信息交换模块的叠加有效地传播和交换多尺度信息，从而预测雨水条纹信息。此外，使用门循环单元（Gate Recurrent Unit,GRU）连接这些多尺度模块，GRU能够保留并且利用前面阶段提取出的特征。实验表明，多尺度信息交换模块能够有效地估计雨水条纹。然而，通过多尺度信息交换模块得到的初步去雨后图像与真实图像相比在色彩和一些细节方面仍然存在一定程度的差异。因此，本文在图像修复部分使用循环生成对抗网络，对之前阶段获得的图像进行进一步处理。实验表明，循环生成对抗网络能够提高最终的去雨效果，使最终的图片质量提高。本文所提出的主要贡献如下：

（1）通过多尺度信息交换模块，能够更好地检测雨水条纹信息，使初去雨的图像所含的雨水信息尽可能地减少，便于后续生成对抗网络进行处理。

（2）将循环生成对抗网络与多尺度信息模块连接，通过增加色彩损失，对初去雨图像的色彩信息和细节进行修复，进一步提高去雨性能。

（3）通过在合成数据集和真实图像数据集上进行的大量实验表明，本文方法在单幅图像去雨任务上效果较好。

1 相关工作

1.1 图像去雨

基于视频的降雨方法能够在连续帧之间使用时间信息，与之不同的是单幅图像去雨方法是一个高度不适定问题。无参考的图像去雨只能利用先验知识分析降雨图像，通过建立物理模型获得去雨图像。Kang等 [8]作为单幅图像去雨的先驱，设计了一种基于模型的方法从降雨图像当中提取高频层，并使用字典学习稀疏表示描述雨水条纹的特征。从此出现了许多基于模型的图像去雨算法[8,10,14,23]。在基于模型驱动的图像去雨方法中，认为图像中的雨水噪声主要存在于图像的高频分量当中，低频分量中也存在少量的雨水噪声。Kang等[8]使用双边滤波器对降雨图像进行分解，将其分解为高频部分和低频部分，高频部分中的“无雨分量”由稀疏编码和学习字典表示，该方法可以有效地去除雨水条纹，但同时会使图像模糊。Luo等 [9]对稀疏编码方法进行了改进，将互斥引入区分性稀疏编码当中，使雨水条纹层和背景层的分离得到进一步优化，更好地保留了明显的纹理特征，然而在雨水分布密集的去雨仍然存在雨滴。Zhu等 [10]在背景层提出了两个新的先验，一个基于集中备件表示（centralized spares representation, CSR），另一个基于估计的降雨方向。这些先验知识可以提高去除雨纹的性能，同时保留背景细节；然而，由于算法的局限性，需要手动调整过多的参数才能得到满意的结果。Li等 [24]提出了一种自适应高斯混合模型（GMM）[14]模拟雨水条纹层和背景层，背景层的高斯混合模型是从不同场景的真实图像和清晰图像中推导出来的，选择无背景纹理信息的雨水条纹对高斯混合模型进行训练，该方法可以根据雨的方向和大小检测雨水条纹。总的来说，这些方法可以消除中小型雨水条纹，但不能处理大而尖锐的雨水条纹。

近几年来，随着深度学习广泛应用于计算机视觉任务中，并在图像识别、目标检测和视频处理方面取得了优异的效果，基于神经网络的图像去雨模型发展迅速，许多方法[16,21,25⇓⇓⇓-29]达到了较好的去雨效果。Fu等[25]提出了用于单幅图像去雨的DetailNet，在DetailNet中，使用低通滤波器将雨天图像分解为高频和低频图像层，然后在细节（高通内容）中对其进行训练，DetailNet可以直接学习雨水条纹层和背景层之间的映射关系，该方法在实验中取得了很好的效果，但恢复的背景图像并不完美。Yang等[16]提出联合雨水检测和清除网络，其中雨水检测网络经过训练，通过检测雨水条纹的位置来捕获二元遮罩，而递归神经网络经过训练以清除降雨图案和雨水积累，它在大雨中工作得很好，但它可能会错误地删除垂直纹理信息，并产生令人不快的照明效果。Ren等 [30]基于ResNet开发了一个简单有效的基线。为了从不同尺度提取雨水条纹特征，许多研究者[21,26⇓-28]还开发了一些基于多尺度的去雨方法。多尺度网络可以有效地降低网络在推理和训练过程中的复杂度，并在保持网络深度不变的情况下对结果进行改进。Guo等[31]将反馈机制与密集跳跃连接相结合，以融合不同级别的特征，获得去雾图像。Jiang等[22]提出了一个多尺度去雨网络，该网络将高尺度信息持续传输到低尺度，并可以在预测雨水条纹时结合不同尺度的特征。

1.2 生成对抗网络

生成对抗网络[32]是目前一种较为流行且使用广泛的深度网络结构体系，它由两个相互对抗的子网络组成，通过GAN能够有效地生成更加真实的图像。目前，大多数现有的基于GAN的模型都需要成对的训练数据，获取成对的信息这一需求导致在实践过程中所需要的代价较高。为了解决这一问题，Zhu等[33]提出了无监督的CycleGAN，CycleGAN使用未成对的图像进行训练，将图像从原域转换到目标域。基于GAN的方法在各种视觉任务当中取得了较为广泛的应用，例如图像去模糊[34]、图像去雾[35]和图像超分辨率[36]等。

针对图像去雨任务，一些基于GAN的研究方法也获得了较好的效果。Zhu等[18]提出了一种基于GAN的无监督端到端对抗性去雨网络，称为