CVPR 2020|来自霍普金斯大学开源得Syn2Real用于使用高斯过程进行图像去雨算法

最新推荐文章于 2023-09-29 08:47:16 发布

仪器之家

最新推荐文章于 2023-09-29 08:47:16 发布

阅读量2.4k

点赞数

分类专栏：图像算法文章标签：图像算法 CVPR 2020 霍普金斯大学 Syn2Real 高斯算法

本文链接：https://blog.csdn.net/hahabeibei123456789/article/details/106696197

版权

图像算法专栏收录该内容

154 篇文章 45 订阅

订阅专栏

作者信息

介绍

在下雨天拍摄的图像通常质量较差。雨水条纹引起的伪影会对后续的计算机视觉算法（例如对象检测和识别）的性能产生不利影响。随着此类算法在诸如自主导航和视频监视等应用中成为至关重要的组成部分，开发用于除雨的复杂算法变得越来越重要。

就重构误差和视觉质量而言，基于CNN的最新图像去雨算法已经获得了出色的性能。但是，这些方法在只能对完全标记的数据进行训练的意义上受到限制。由于获得现实世界中全标签图像去雨数据集的各种挑战，现有方法仅在合成生成的数据上进行训练，因此无法很好地推广到现实世界图像。在文献中，相对较少地探讨在训练图像排水网络中使用真实世界数据。作者提出了一种基于高斯过程的半监督学习框架，该框架使学习中的网络可以使用合成数据集进行训练，同时可以更好地泛化未标记的真实世界图像。通过对几个具有挑战性的数据集（例如Rain800，Rain200H和DDN-SIRR）进行广泛的实验和消融，结果证明了所提出的方法在有限的标记数据上进行训练时，可以通过完全标记的训练获得出色的性能。此外与现有方法相比，在建议的基于GP的框架中使用未标记的真实世界图像会产生更高的性能。

高斯过程

高斯过程(GP)f(v)是随机变量的无穷集合，其中的任何有限子集都是联合高斯分布的。GP由其均值函数和协方差函数完全指定，它们的定义如下:

其中v，v0∈V表示索引GP的可能输入。协方差矩阵由协方差函数或核K构成，其表示基础函数的平滑度的某些先验概念。GP可以表示如下:

其中I是恒等矩阵，σ2是加性噪声的方差。然后，函数值的任何集合按以下方式联合为高斯:

方法

如下图所示，所提出的方法由基于UNet结构的CNN组成，其中每个块都是使用Res2Block构建的。该网络由一个编码器和一个解码器组成。

编码器和解码器分别通过θenc和θdec进行参数设置，x是网络的输入，然后由编码器将其映射到潜在向量z。在我们的案例中，x是我们要从中删除雨条纹的多雨图像。潜矢量然后被馈送到解码器以产生输出雨条纹。

然后从多雨图像（x）中减去雨条纹成分以产生干净图像y = x − r。

在作者表述中，训练数据集为D =DL u DU，其中DL 是由N个样本组成的标记训练集，而DU 是由N个未标记样本组成的集合。

DL指的是标记的“合成”数据集，而DU指的是未标记的“真实世界”数据集。建议的方法的目标是通过利用标记的（DL）和未标记的数据集（DU）。训练过程会迭代标记和未标记的数据集。通过最小化（i）在标记训练阶段的监督损失函数（Lsup）和（ii）在未标记训练阶段的无监督损失函数（Lunsup）来学习网络参数。

对于无标签训练阶段，我们使用GP公式生成伪GT，然后将其用于无监督损失函数中。

图1：在学习过程中，我们会利用未标记的数据。训练过程包括遍历标记的数据和未标记的数据。在标记训练阶段，我们使用监督损失函数，该函数由l1误差和预测与目标之间的感知损失组成。在未标记阶段，我们使用GP共同对标记和未标记的潜在载体进行建模，以获得潜在空间中未标记样品的伪GT。我们使用这个伪GT进行监督

数据集

使用了Rain800 Rain200H DDN-SIRR dataset以及真实图像等。

图2：DDN-SIRR综合测试仪的定性结果。（a）输入阴雨图像（b）DID-MDN [58]（CVPR '18）（c）DDN [9]（CVPR'17）（d）SIRR [49]（CVPR '19）（e）f我们的真实图像

结果

在训练过程中使用未标记的真实世界数据对DDN-SIRR数据集的影响。使用无参考质量指标（NIQE和BRISQUE）对DDN-SIRR数据集的真实测试集进行评估。请注意，较低的分数表示性能较好。

在Rain800 数据集上的SSL实验：用于训练的标记数据的百分比在10％和100％之间变化。与仅使用标记数据相比，使用建议的方法利用未标记数据可以观察到一致性。

在Rain200H [51]数据集上的SSL实验：用于训练的标记数据的百分比在10％和100％之间变化。与仅使用标记的数据相比，使用建议的方法利用未标记的数据可观察到一致性。

图3：带有10％标记数据的实验结果Rain200H（a）输入阴雨图像（a）仅使用带标签的数据（c）使用标记的和未标记的数据。

图4：带有40％标记数据的实验结果Rain200H（a）输入阴雨图像（a）仅使用带标签的数据（c）使用标记的和未标记的数据。

结论

作者提出了一个基于GP的SSL框架，以在训练图像排水任务时利用未标记的数据。

作者使用监督损失函数（例如l1和感知损失）来训练标记数据。对于未标记的数据，通过使用GP联合建模标记和未标记的潜在空间向量来估计潜在空间处的伪GT。然后使用伪GT监督未标记的样品。通过在多个数据集（如Rain800，Rain200H和DDN-SIRR）上进行的广泛实验，证明了所提出的方法能够利用未标记的数据实现更好的概括。

论文地址：

https://arxiv.org/pdf/2006.05580.pdf

开源地址：

https://github.com/rajeevyasarla/Syn2Real

更多论文地址源码地址：关注“图像算法”微信公众号