GAN——Generative Adversarial Nets生成对抗网络总结

最新推荐文章于 2023-10-20 21:34:31 发布
最新推荐文章于 2023-10-20 21:34:31 发布
阅读量851 收藏
点赞数
分类专栏： 机器学习 文章标签： 生成对抗网络 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_55796594/article/details/121696596
版权

1.摘要Abstract

对抗网络模型新框架：

  • G：generater生成器——优化目标是最大化D出错的概率
  • D：discriminater鉴别器——优化目标是准确识别原始数据还是G的生成数据

 这个框架对应于一个极小极大的两人博弈。在任意函数G和D的空间中，存在唯一的解，其中G恢复训练数据分布，D处处等于1 2。

2. 介绍Instruction

鉴别器由于反向传播算法有很好的表现，成果很多

生成器仍存在诸多限制

  • 难以计算最大似然估计和相关策略中出现的许多难以处理的概率估计
  • 难以利用分段线性单元处理的梯度优势

G和D使用的模型：多层感知机MLP和dropout法

3.相关工作 Related Work

方式一：最大化对数似然来训练模型

代表：deep Boltzmann machine

方式二：变分自动编码器variational autoencoders (VAEs)

与生成性对抗网络不同，VAE中的第二个网络是执行近似推理的识别模型

方式三：使用判别标准来训练生成模型

使用固定噪声中用来识别数据的那些权重来训练生成器

方式四：可预测性最小化

  • 在训练其他网络时，G要保持独立
  • 一个网络试图使输出相似，另一个网络试图使输出不同
  • 优化目标是最小化目标函数

对抗性示例，即人类无法感知出区别的两个样本，模型却十分自信的给出不同的分类，证明现代的分类器网络并不是在模仿人类的感知属性，而是学习到一套自己的判断类别的属性。

4. 对抗网络Adversarial Nets

4.1值函数V（D，G）

D(x; θd)：带有可学习参数θd的模型D，将输入x判断为来自于真实数据(1)还是生成数据(0)，注意这里给出的是一个介于0-1之间的数，越接近于1，则判断为真实数据，越接近0则判断为生成数据

G(z; θg)：带有可学习参数θg的模型G，将输入的噪音z生成模仿数据x分布的G(z)

对于minG，从值函数V(D，G)考虑，如果D(G(z))被判断为1(真实数据的标签)，则对于log[1 - D(G(z))]的值为负无穷，故最小化G意味着使得所有G(z)被判断为真实数据，即生成的数据要能瞒过鉴别器

对于maxD，从值函数V(D，G)考虑，如果D(G(z))被判断为0(生成数据的标签)，D(x)被判断为1(真实数据的标签)，对于log(D(X))，则值为0，对与log[1 - D(G(z))]值也为0，为V(D,G)的最大值，所以最大化D意味着鉴别器能准确分辨出两类数据，不会被生成器所欺骗。

4.2图示

蓝色虚线：鉴别器的函数

黑色点线：真实数据生成的分布

绿色实线：生成器的数据分布

底下爱的平行直线：均匀采样的噪声分布z， 和数据分布x

箭头：从z到x的映射

图（a）———刚开始生成数据的分布与原始数据的分布很像，分类器的正确率还不高

图（b）———D被跟新为收敛于D∗(x) =p (x)/[p (x)+p(g(x))]

图（c）———对G更新，D的梯度流向G，指导G的数据分布像原数据靠拢

图（d）———经过几轮更新，达到一个最优值，两个分布相等，分类器无法区分二者

4.3实践表明

训练早期，D的效果非常好训练很快，导致D(G(x))所得的值接近于0，即值函数log[1 - D(G(z))]项变得很小，使得对G的误差反向传播很慢，因此使用log[D(G(z))]得到接近负无穷的数，利于反向传播，同时模型的最优解不变。然而一个接近负无穷的数又会带来数值表示等的一些问题，在本篇文章中未给出说明。

5.理论

算法：

对D做K步更新，使D接近与当前的给定的G的最优解，然后对G做一步更新，使G更接近原始数据分布。

 

5.1全局最优解

 证明1：固定G，最优的D分布。

对值函数算期望并合并

 p与D无关，将D(x)写为y，则上式为 alog(y) + blog(1 −y)，其最大值点在a / (a + b)。

当D*(X)固定时， V（G，D）写为C（G）：

 定理：C(G)达到最小值，当且仅当，且值为-log(4)

证明2：

 5.2算法的收敛性

 当G和D有足够的容量时，并且在算法的每一步都允许给定G的最优的D，当G按照公式更新时，最终Pg收敛到Pdata。

 证明：由于D已经是最优，故将V(G, D) = U(Pg,  D)，\int Pg(X) log(1-D_{G}^{*}(X)))dx，此时优化Pg(X)。由于Pg(X)是一个凸函数，所以\int Pg(X) log(1-D_{G}^{*}(X)))dx是Pg(X)的函数，也是凸函数。故U(Pg, D)的上界函数也是凸函数，其最优解已经在5.1给出证明。

原文：

Ian Goodfellow et al. “Generative Adversarial Nets” Neural Information Processing Systems (2014)shishi

 

午夜零时
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习Generative Adversarial Nets（GAN）生成对抗网络-组会汇报ppt
11-13
Generative adversarial nets[J]. Advances in neural information processing systems, 2014, 27. 根据上面论文，做一个简短的ppt汇报、分别讲述GAN的背景、结构、模型和目标函数等方面的理解
【PyTorch】生成对抗网络/GAN(generative adversarial network)
积流成河
04-22 743
模型介绍
深度学习之生成式对抗网络 GAN（Generative Adversarial Networks）
fenglepeng的博客
05-27 6165
一、GAN介绍 生成式对抗网络GAN（Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。它源于2014年发表的论文：《Generative Adversarial Nets》，论文地址：https://arxiv.org/pdf/1406.2661.pdf。 模型通过框架中（至少）两个模块：生成模型（Generative model）和判别模型（Discriminative model）的相互博弈学习产生相当好的输出。原始
Generative Adversarial Networks（生成对抗网络GAN，DCGAN）
nakaizura
03-13 2万+
Generative Adversarial Networks GAN的想法很简单，一言以蔽之：以假乱真。 Generative（生成）：GAN实际上可以看作是一个生成数据的工具。目标就是通过学习让自身生成更加真实的数据。 Adversarial （对抗）：既然能够以假乱真，对抗的自然就是识别真假的警察了。 所以GAN 主要包括了两个部分： 生成器 （Generator ）：生成器努力使生成的图像...
深度学习之生成对抗网络GAN（一）Generative Adversarial Nets/生成对抗网络（一）
最新发布
m0_46521375的博客
10-20 311
我们提出了一个通过对抗过程估计生成模型的新框架，其中我们同时训练两个模型：捕获数据分布的生成模型G，以及估计样本来自训练数据而不是G的概率的判别模型D.G的训练过程是最大化D出错的概率。这个框架对应于一个minimax双人游戏。在任意函数G和D的空间中，存在唯一解，G无限逼近训练数据分布（G能够完全拟合出原始数据分布，D无法完全判别出是原始数据还是生成数据），D处处等于1/2。在G和D由多层感知器定义的情况下，可以用反向传播和梯度下降来训练整个系统。
GAN（Generative Adversarial Nets (生成对抗网络)）
qq_42728437的博客
05-15 2732
②部分，此时判别器D的输入为G(z)，为假图像，但是我们期望的是生成器的效果好，即尽可能的瞒过D，也就是期望D(G(z))尽可能大，越大表示D判定假图像为真实数据的概率越大，也就表明生成器G生成的图像效果好，可以成功的骗过D。在训练的时候，D(G(z))越大越接近于1，y越小，生成器生成的假图越被判别器误判为真图。但训练刚开始时，生成的图像太假，太容易被判别器识破，D(G(z))接近0，log(1-D(G(z)))饱和无梯度，所以将最小化log(1-D(G(z)))变为最大化log(D(G(z)))
Generative Adversarial nets鉴赏.pdf
09-27
Ian Goodfellow2014年生成对抗网那篇开山论文的赏析讲解，经典中的经典！对搞GAN的会有帮助的
Generative Adversarial Nets.pdf
04-03
We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a ...
Conditional Generative Adversarial Nets.pdf
07-09
Conditional Generative Adversarial Nets生成式对抗网络GAN 论文下载
什么是 GAN 生成对抗网络 (深度学习)? What is Generative Adversarial Nets GAN (deep learning)?
08-30
什么是_GAN_生成对抗网络_(深度学习)__What_is_Generative_Adversarial_Nets_GAN_
生成对抗性神经网络
机器学习
05-29 9807
生成对抗性神经网络 !!代码地址!! 论文 作者: Lorna 邮箱: [email protected] 英文原版 配置需求 显卡: A TiTAN V 或更高. 硬盘: 128G SSD. Python版本： python3.5 或更高. CUDA: cuda10. CUDNN: cudnn7.4.5 或更高. Tensorflow-gpu: 2.0.0-alpla0. 运行以...
生成对抗网络(Generative Adversial Network,GAN)原理简介
weixin_60737527的博客
10-23 1万+
生成对抗网络(GAN)的基本原理
生成对抗网络总结
dbsggal90047018的博客
08-16 472
1、GAN的原理： 　　GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是通过生成网络G（Generator）和判别网络D（Discriminator）不断博弈，进而使G学习到数据的分布，如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。G， D的主要功能是： ● G是一个生成式的网络，它接收一个随机的噪声z（随机数），通过这个噪声...
深度学习 GAN生成对抗网络简介(Generative Adversarial Networks (GANs)
禅与计算机程序设计艺术
09-04 2092
作者：禅与计算机程序设计艺术 1.简介 随着深度学习技术的进步，图像、视频、音频等各种数据的高效处理，以及多媒体数据可视化、分析的能力的提升，人们对于深度学习技术已经不满足于单纯地进行数据的处理，更加关注深度学习所带来的创新能力、应用前景和社会影响力。其中生成对抗网络（Generative Advers
生成式对抗网络（Generative Adversarial Networks，GANs）
热门推荐
Joe的博客
01-04 5万+
1. 简介 首先简要介绍一下生成模型（Generative model）与判别模型（Discriminative mode）的概念： 生成模型：对联合概率进行建模，从统计的角度表示数据的分布情况，刻画数据是如何生成的，收敛速度快，例如朴素贝叶斯，GDA，HMM等。 判别模型：对条件概率P(Y|X)P(Y|X)进行建模，不关心数据如何生成，主要是寻找不同类别之间的最优分类面，例如LR，SVM等
生成对抗网络（GAN，Generative Adversarial Network）介绍
flyfish
12-27 4211
生成对抗网络（GAN，Generative Adversarial Network）介绍 flyfish 在无监督学习中，最近的突破有哪些？ 看一个GAN的应用 第一张图是用GAN将一副古代女子的画像恢复成真人的效果 第二张是将真人效果图的面容表情更改成笑容++ Yann LeCun 的回答是 有史以来GAN是最酷的事情。 我在上一个答案中列出了许多相关论文。 期望在未来几年中使用此技术获得更...
生成式对抗网络（GAN）-（Generative Adversarial Networks）算法总结（从原始GAN到....目前）
weixin_44474718的博客
05-30 1万+
本文将按时间顺序总结gan的paper（非所有，会挑选个人认为比较重要的），并将参考其它博客（会给出链接），如有侵权，请私信删除。 ???? （2014.06-arXiv）GAN:Generative Adversarial Nets【论文原文】【参考文章】 ????contributions： 开山之作； 原理：生成网络和判别网络的互相对抗。生成网络尽可能生成逼真样本，判别网络则尽可能去判别该样本是真实样本，还是生成的假样本。 采用JS散度作为评判依据。 loss函数（原始gan损失函数的详细解释）：
GAN（Generative Adversarial Network）的学习历程
Jasminexjf的博客
09-11 5037
1）GAN数学角度分：https://zhuanlan.zhihu.com/p/27912062   2）DCGAN篇：   DCGAN论文笔记+源码分析：http://lib.csdn.net/article/aimachinelearning/59228?knId=1731   源码地址：DCGAN in TensorFlow   DCGAN 原文译文：https://ask.jul...
生成对抗网络GAN（六）深入理解生成对抗网络（Generative Adversarial Networks，GAN）
zhaoguanghe的博客
08-12 7881
生成对抗网络(Generative adversarial nets,GAN)是Goodfellow等人在2014年提出的一种生成式模型。GAN是由一个生成器和一个判别器构成。生成器捕捉真实数据样本的潜在分布，并由潜在分布生成新的数据样本；判别器是一个二分类器，判别输入是真实数据还是生成的样本。其优化过程类似于极小极大游戏，通过反向传播算法，最终目标可实现纳什均衡，即生成器完全获得真实数据样本的分...
conditional generative adversarial nets
03-16
条件生成对抗网络（Conditional Generative Adversarial Nets）是一种生成对抗网络，它可以通过给定条件来生成特定的输出。这种网络通常用于图像生成和语音合成等任务，其中输入的条件可以是图像的标签或描述，或者是语音的文本转录。通过训练生成器和判别器来对抗地学习，条件生成对抗网络可以生成高质量的图像和语音。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值