CycleGAN 生成对抗网络图像处理工具

最新推荐文章于 2023-08-13 08:43:16 发布

Python中文社区

最新推荐文章于 2023-08-13 08:43:16 发布

阅读量1.3k

点赞数

文章标签：网络深度学习人工智能神经网络机器学习

本文链接：https://blog.csdn.net/bf02jgtrs00xktcx/article/details/114609244

版权

本文介绍了CycleGAN的工作原理及其在图像风格转换中的应用。通过对抗性学习，CycleGAN能够在保留原始图像内容的基础上，将其转换为不同风格的图像。文章详细阐述了生成器和判别器的结构，训练过程及实验结果，展示了从普通照片到艺术风格图像的转换。

摘要由CSDN通过智能技术生成

1. GAN简介

"干饭人，干饭魂，干饭都是人上人"。

此GAN饭人非彼干饭人。本文要讲的GAN是Goodfellow2014提出的生成产生对抗模型，即Generative Adversarial Nets。那么GAN到底有什么神奇的地方?

常规的深度学习任务如图像分类，目标检测以及语义分割或者实例分割，这些任务的结果都可以归结为预测。图像分类是预测单一的类别，目标检测是预测bbox和类别，语义分割或者实例分割是预测每个像素的类别。而GAN是生成一个新的东西如一个图片。

GAN的原理用一句话来说明：

通过对抗的方式，去学习数据分布的生成式模型。GAN是无监督的过程，能够捕捉数据集的分布，以便于可以从随机噪声中生成同样分布的数据

GAN的组成：判别式模型和生成式模型的左右手博弈

D判别式模型：学习真假边界，判断数据是真的还是假的
G生成式模型：学习数据分布并生成数据

GAN经典的loss如下（minmax体现的就是对抗）

2. 实战cycleGAN 风格转换

了解了GAN的作用，来体验的GAN的神奇效果。这里以cycleGAN为例子来实现图像的风格转换。所谓的风格转换就是改变原始图片的风格，如下图左边是原图，中间是风格图（梵高画），生成后是右边的具有梵高风格的原图，可以看到总体上生成后的图保留大部分原图的内容。

2.1 cycleGAN简介

cycleGAN本质上和GAN是一样的，是学习数据集中潜在的数据分布。GAN是从随机噪声生成同分布的图片，cycleGAN是在有意义的图上加上学习到的分布从而生成另一个领域的图。cycleGAN假设image-to-image的两个领域存在的潜在的联系。

众所周知，GAN的映射函数很难保证生成图片的有效性。cycleGAN利用cycle consistency来保证生成的图片与输入图片的结构上一致性。我们看下cycleGAN的结构：

特点总结如下：

两路GAN：两个生成器[ G：X->Y , F：Y->X ] 和两个判别器[Dx, Dy], G和Dy目的是生成的对象，Dy（正类是Y领域）无法判别。同理F和Dx也是一样的。
cycle consistency：G是生成Y的生成器， F是生成X的生成器，cycle consistency是为了约束G和F生成的对象的范围，是的G生成的对象通过F生成器能够回到原始的领域如：x->G(x)->F(G(x))=x

对抗loss如下：

2.2 实现cycleGAN

2.2.1 生成器

从上面简介中生成器有两个生成器，一个是正向，一个是反向的。结构是参考论文Perceptual Losses for Real-Time Style Transfer and Super-Resolution: Supplementary Material。大致可以分为：下采样 + residual 残差block + 上采样，如下图（摘自论文）：