Semi-DerainGAN论文笔记

最新推荐文章于 2024-04-23 09:19:11 发布

郭文野

最新推荐文章于 2024-04-23 09:19:11 发布

阅读量628

点赞数

文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_44862131/article/details/106732481

版权

Proposed Semi-DerainGAN

在这里插入图片描述
Semi-DerianGAN的框架包括两个过程，即无监督和监督过程，有监督的使用人工合成的图片训练最小化损失函数，无监督学习使用真实图片，训练最小化损失函数，半监督SSRML在这两个过程中均发挥作用，从真实图片集和合成数据集学习雨痕信息。此外对于真实图像的数据集而言，即无监督学习中，Xr是没有ground truth的，于是乎，从人造的数据集中取出ys作为ground truth。

Semi-supervised Rain Mask Learner (SSRML)

原来的RML是作用于有监督模型中的，其结构有LSTM units和five Conv-Relu-Conv-Relu units，但是由于训练样本很难成对，所以在此基础之上设计了semi-supervised
rain mask learner (SSRML)。可以从真实图片和合成图片中提取雨痕信息，实际结果证明，SSRML在真实图片单图像去雨问题表现优异。方程如下：
在这里插入图片描述
ms, mr分别表示从合成图提取的rain mask 和从真实图像提取的rain mask。

Generators in Synthetic and Real Image Domains

一共有三个生成器，Gs，Gr和Gr’。 Gs，Gr是分别用来生成合成数据集和真实数据集的去雨图像的，这之中还用了U-net。（为了保证轮廓大致相同）
在这里插入图片描述
ys解释为，rainy image Xs剔除了ms（rain mask）后的图像，yr就是从真实数据集中获得的图像。
在Gr’这个生成器中还添加了CycleGAN,因为这是一个无监督的过程，利用SSRML和U-net重构雨图xr。

Discriminators in Synthetic and Real Image Domains

在这里插入图片描述
引入三个判别器，Ds，Dr和Dp，Ds和Dr应用的是多尺度的判别器，每一个尺度的特征图会经过五个卷积层最后喂入sigmoid函数输出。一共设置了三个尺度。
Dp是使用成对的去雨图像以及含雨图，为了使得最后生成的图像更加的真实。
损失函数，要求最小：
在这里插入图片描述
Ladv-super=Ladv-pair+Ladv-unsup

Supervised Process

在这里插入图片描述
Semi-DerainGAN包含的两个过程，有监督和无监督，且同时进行。利用合成图像学习网络的参数，也就是SSRML, Gs, Ds和Dp。
Lper-super是去雨图像和标签图之间的损失函数，∂表示用VGG-16从卷积2，3层提取出来的特征，确保训练正确。Lssim是使得两张图片之间的结构相似，由SSIM测量系统可得相似度的测量可由三种对比模块组成，分别为：亮度，对比度，结构。λ是权衡参数。
在这里插入图片描述
为了使ssim最大，即尽可能相似，但是又要保证损失最小，所以ssim前面有一个负号。