GAN入门

最新推荐文章于 2024-01-26 12:10:15 发布
最新推荐文章于 2024-01-26 12:10:15 发布
阅读量284 收藏 1
点赞数
分类专栏： GAN tensorflow 文章标签： GAN python'
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43935612/article/details/86563126
版权

GAN

1.什么是GAN？

GAN（Generative adversarial nets）,中文是生成对抗网络，他是一种生成式模型，也是一种无监督学习模型。其最大的特点是为深度网络提供了一种对抗训练的方式，此方式有助于解决一些普通训练方式不容易解决的问题。

GAN的原理

GAN的基本原理其实非常简单，GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，这里以生成图片为例进行说明。假设我们有两个网络，G（Generator）和D（Discriminator）。正如它的名字所暗示的那样，它们的功能分别是：
• G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。
• D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，
输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。
在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。
最后博弈的结果是什么
在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z)) = 0.5。
这样我们的目的就达成了：我们得到了一个生成式的模型G，它可以用来生成图片。
数学模型
在这里插入图片描述
简单分析一下这个公式：

  • 整个式子由两项构成。x表示真实图片，z表示输入G网络的噪声，而G(z)表示G网络生成的图片。

  • D(x)表示D网络判断真实图片是否真实的概率（因为x就是真实的，所以对于D来说，这个值越接近1越好）。而D(G(z))是D网络判断G生成的图片的是否真实的概率。

  • G的目的：上面提到过，D(G(z))是D网络判断G生成的图片是否真实的概率，G应该希望自己生成的图片“越接近真实越好”。也就是说，G希望D(G(z))尽可能得大，这时V(D,
    G)会变小。因此我们看到式子的最前面的记号是min_G。

  • D的目的：D的能力越强，D(x)应该越大，D(G(x))应该越小。这时V(D,G)会变大。因此式子对于D来说是求最大(max_D)

GAN的特点

● 相比较传统的模型，他存在两个不同的网络，而不是单一的网络，并且训练方式采用的是对抗训练方式
● GAN中G的梯度更新信息来自判别器D，而不是来自数据样本

GAN的优点：

（以下部分摘自ian goodfellow 在Quora的问答）
● GAN是一种生成式模型，相比较其他生成模型（玻尔兹曼机和GSNs）只用到了反向传播,而不需要复杂的马尔科夫链
● 相比其他所有模型, GAN可以产生更加清晰，真实的样本

● GAN采用的是一种无监督的学习方式训练，可以被广泛用在无监督学习和半监督学习领域

● 相比于变分自编码器, GANs没有引入任何决定性偏置( deterministic bias),变分方法引入决定性偏置,因为他们优化对数似然的下界,而不是似然度本身,这看起来导致了VAEs生成的实例比GANs更模糊

● 相比VAE, GANs没有变分下界,如果鉴别器训练良好,那么生成器可以完美的学习到训练样本的分布.换句话说,GANs是渐进一致的,但是VAE是有偏差的

● GAN应用到一些场景上，比如图片风格迁移，超分辨率，图像补全，去噪，避免了损失函数设计的困难，不管三七二十一，只要有一个的基准，直接上判别器，剩下的就交给对抗训练了。

GAN的缺点：

● 训练GAN需要达到纳什均衡,有时候可以用梯度下降法做到,有时候做不到.我们还没有找到很好的达到纳什均衡的方法,所以训练GAN相比VAE或者PixelRNN是不稳定的,但我认为在实践中它还是比训练玻尔兹曼机稳定的多。

● GAN不适合处理离散形式的数据，比如文本

● GAN存在训练不稳定、梯度消失、模式崩溃的问题（目前已解决）

GAN的一些问题

1. 模式崩溃(model collapse)原因

互相欺骗
一般出现在GAN训练不稳定的时候，具体表现为生成出来的结果非常差，但是即使加长训练时间后也无法得到很好的改善。

具体原因可以解释如下：GAN采用的是对抗训练的方式，G的梯度更新来自D，所以G生成的好不好，得看D怎么说。具体就是G生成一个样本，交给D去评判，D会输出生成的假样本是真样本的概率（0-1），相当于告诉G生成的样本有多大的真实性，G就会根据这个反馈不断改善自己，提高D输出的概率值。但是如果某一次G生成的样本可能并不是很真实，但是D给出了正确的评价，或者是G生成的结果中一些特征得到了D的认可，这时候G就会认为我输出的正确的，那么接下来我就这样输出肯定D还会给出比较高的评价，实际上G生成的并不怎么样，但是他们两个就这样自我欺骗下去了，导致最终生成结果缺失一些信息，特征不全。

2.为什么GAN中的优化器不常用SGD

  1. SGD容易震荡，容易使GAN训练不稳定，
    在这里插入图片描述
  2. GAN的目的是在高维非凸的参数空间中找到纳什均衡点，GAN的纳什均衡点是一个鞍点，但是SGD只会找到局部极小值，因为SGD解决的是一个寻找最小值的问题，GAN是一个博弈问题。

GAN的广泛应用

  1. GAN本身是一种生成式模型，所以在数据生成上用的是最普遍的，最常见的是图片生成，常用的有DCGAN WGAN，BEGAN，个人感觉在BEGAN的效果最好而且最简单。

  2. GAN本身也是一种无监督学习的典范，因此它在无监督学习，半监督学习领域都有广泛的应用，比较好的论文有
    Improved Techniques for Training GANs
    Bayesian GAN（最新）
    Good Semi-supervised Learning

  3. 不仅在生成领域，GAN在分类领域也占有一席之地，简单来说，就是替换判别器为一个分类器，做多分类任务，而生成器仍然做生成任务，辅助分类器训练。

  4. GAN可以和强化学习结合，目前一个比较好的例子就是seq-GAN

  5. 目前比较有意思的应用就是GAN用在图像风格迁移，图像降噪修复，图像超分辨率了，都有比较好的结果，详见pix-2-pix GAN 和cycle GAN。但是GAN目前在视频生成上和预测上还不是很好。

  6. 目前也有研究者将GAN用在对抗性攻击上，具体就是训练GAN生成对抗文本，有针对或者无针对的欺骗分类器或者检测系统等等，但是目前没有见到很典范的文章。

训练GAN的一些技巧

  1. 输入规范化到（-1，1）之间，最后一层的激活函数使用tanh（BEGAN除外）

  2. 使用wassertein GAN的损失函数，

  3. 如果有标签数据的话，尽量使用标签，也有人提出使用反转标签效果很好，另外使用标签平滑，单边标签平滑或者双边标签平滑

  4. 使用mini-batch norm， 如果不用batch norm 可以使用instance norm 或者weight norm

  5. 避免使用RELU和pooling层，减少稀疏梯度的可能性，可以使用leakrelu激活函数

  6. 优化器尽量选择ADAM，学习率不要设置太大，初始1e-4可以参考，另外可以随着训练进行不断缩小学习率，

  7. 给D的网络层增加高斯噪声，相当于是一种正则

参考文章

参考代码：https://github.com/soumith/ganhacks
https://mp.weixin.qq.com/s?__biz=MzUyMjE2MTE0Mw==&mid=2247484964&idx=1&sn=a859222f408a991dbade1909917595ae&chksm=f9d158bccea6d1aa5a7afb17d39c704d719a7b47613250bff50928343fe49a63a72c27e7bab0&scene=21#wechat_redirect
https://www.cnblogs.com/bonelee/p/9166084.html

默默守候只为心安
关注
专栏目录
【GAN入门】生成 AI的概念
gongdiwudu的专栏
09-13 4647
GAN是生成对抗网络（Generative Adversarial Network）的缩写，是一种无监督学习算法，由Goodfellow等人于2014年提出。GAN由一个生成器网络和一个判别器网络组成，通过二者之间的对抗来训练生成器网络生成与真实样本相似的假样本。生成器和判别器互相对抗，不断改善自己的性能。GAN广泛应用于图像、语音、自然语言等领域中的生成任务。
GAN入门｜第二篇：人脸图像生成（DCGAN）
“365天深度学习训练营”报名进行中～
07-16 843
自定义权重初始化函数，作用于netG和netD def weights_init(m) : # 获取当前层的类名 classname = m . __class__ . __name__ # 如果类名中包含'Conv'，即当前层是卷积层 if classname . find('Conv')!
GAN入门基础
君梓的博客
06-03 1437
GAN基础
GAN 入门
accbbbxx的博客
07-16 407
GAN入门 GAN的基本原理其实非常简单，这里以生成图片为例进行说明。假设我们有两个网络，G（Generator）和D（Discriminator）。正如它的名字所暗示的那样，它们的功能分别是： D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。他的
GAN 初学者指南
deephub
05-20 2774
GAN是一个非常巧妙并且非常有用的模型。当有大量关于 GAN 的论文时，但是你会发现这些论文通常很难理解，你可能会想要一些对初学者更友好的东西。所以本文的对非传统机器学习人员来说，是我能想到的最好的例子。 什么是 GAN？ GANs 或 Generative Adversarial Networks 是一类机器学习技术，由两个网络组成，相互进行对抗性学习。 这一切都是为了创造。音乐？绘画？不存在的人的可怕逼真的照片？大声笑等等。 GAN中的网络一个被称为 Generator，可以将其视为一种伪造者，第二个称
GAN入门简介
masteryi-0018的博客
02-08 687
GAN入门简介无数学公式，1000字快速读懂GAN
初学者GAN代码（最好的，直观，代码简单，涵盖30多个）
08-19
初学者入门GAN最好的代码。代码非常简单，下载好数据集后全部可以运行，几乎包括之前所有主流的30多个GAN代码，方便快速上手。
GAN入门介绍
qq_34739497的博客
02-09 1210
生成对抗网咯（GAN）是一类在无监督学习中使用的神经网络，其有助于解决按文本生成图像、提高图片分辨率、药物匹配、检索特定模式的图片等任务。生成对抗网络由lan Goodfellow 于2014年提出，最近几年非常热门，但是由于其存在训练困难、生成器与判别器的loss无法指示训练进程、生成样本缺乏多样性等问题，仍在需要研究解决，虽然已经有一些变体，这篇文章只写写初步理论，感兴趣可以点这里： 谷歌...
GAN的入门与实践
燕哥带你学算法
11-01 7317
作者：Double_V   编辑：龚　赛  PART 01 GAN 简介 引言 生成对抗网络（Generative Adversarial Nets，GAN）是由open ai研究员Good fellow在2014年提出的一种生成式模型，自从提出后在深度学习领域收到了广泛的关注和研究。目前，深度学习领域的图像生成，风格迁移，图像变换，图像描
【GAN入门必备】：掌握生成对抗网络的核心概念与初步应用
[【GAN入门必备】：掌握生成对抗网络的核心概念与初步应用](https://assets.st-note.com/img/1680755271124-xkmwFupmog.png) # 1. 生成对抗网络（GAN）概述 ## 简介 生成对抗网络（GAN）是深度学习领域的一项革命性...
PaddlePaddle百度论文复现营——GAN入门学习笔记
Kevin Pang的博客
08-06 414
百度论文复现营——GAN入门学习笔记 1 GAN 概述 什么是生成对抗网络？由谁提出？为什么要学习GAN? 2 原理与改进 GAN的基本原理，GAN的训练方法，GAN的现有问题，GAN的改进方法 3 应用场景 图像风格迁移 4 课程实践 手写数字生成 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，
一个简单的GAN网络实例
04-04
一个简单的GAN网络实例，可直接运行，非常适合初学者入门！
GAN入门基础指导
加勒比海鲜王
08-27 879
保留初心，砥砺前行 这次并没有标题党，说一文精通GAN什么的。因为毕竟paper才是基础。以下内容只是辅助作用，相当于paper重点内容的总结而已。再次强调，请读者先读paper。 Generative Adversarial Networkspaper不能完全搞懂没关系，看下边。第一个问题，GAN对噪声z的分布有要求吗？常用哪些分布？常用的有高斯分布 也可以用均匀分布为什么初始噪声是100维咧
GAN入门实践
07-10 1546
看到最近GAN特别特别的火，上周在组会就心血来潮的讲了一下GAN的相关论文，然后用现成的轮子DCGAN看看效果如何 训练集是我论文里的钙化图片 然后让它先训练= =，我们来喝茶唠唠嗑，看看GAN干了啥 GAN的想法非常的直接暴力 生成器负责生成假图片，判别器负责辨别图像真假 第一个式子就是生成器和判别器的损失函数，用的是逻辑回归的损
第G1周：生成对抗网络（GAN）入门
最新发布
m0_62017984的博客
01-26 804
GAN并不指代某一个具体的神经网络，而是指一类基于博弈思想而设计的神经网络。GAN由两个分别被称为生成器（Generator）和判别器（Discriminator）的神经网络组成。其中，生成器从某种噪声分布中随机采样作为输入，输出与训练集中真实样本非常相似的人工样本；判别器的输入则为真实样本或人工样本，其目的是将人工样本与真实样本尽可能地区分出来。生成器和判别器交替运行，相互博弈，各自的能力都得到升。
GAN入门教程｜从0开始，手把手教你学会最火的神经网络（学习笔记）
yunyi4367的博客
05-29 5130
1.知乎中文链接:https://zhuanlan.zhihu.com/p/27440393 2.英文原文链接(可以直接在页面上点“Run”看代码效果): https://www.oreilly.com/learning/generative-adversarial-networks-for-beginners 3.概要： GAN中包含两个模型：生成模型（Generative Model）...
GAN生成对抗网络从入门到实践——入门级
土豆洋芋山药蛋的博客
01-12 5516
自2014年Ian Goodfellow提出生成对抗网络(GAN)的概念后,生成对抗网络变成为了学术界的一个火热的研究热点，Yann LeCun更是称之为”过去十年间机器学习领域最让人激动的点子”. 生成对抗网络包括一个生成器(Generator,简称G)生成数据，一个鉴别器(Discriminator,简称D)来鉴别真实数据和生成数据,两者同时训练,直到达到一个纳什均衡，生成器生成的数
GAN入门：理解与Matlab实现
GAN（Generative Adversarial Networks）是深度学习领域中一种革命性的模型，它由Ian Goodfellow等人于2014年在NIPS会议上提出，论文《Generative Adversarial Nets》（https://arxiv.org/abs/1406.2661）标志着其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值