李宏毅GAN学习（六）tips for improving GAN

最新推荐文章于 2022-06-28 18:46:22 发布
最新推荐文章于 2022-06-28 18:46:22 发布
阅读量488 收藏 2
点赞数
分类专栏： GAN 文章标签： GAN 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNbaiduyun/article/details/85301544
版权

GAN不好训练的原因：只要两个分布没有重合部分，loss都一样，也就没有办法一步一步去接近真实分布

如果最后的判别器是一个sigmoid的二分类网络，并且已经训练好了，由于sigmoid两边的梯度很小，所以生成器就没有办法得到有效的学习。LSGAN（Least Square GAN）来解决这个问题

由于JS散度会有不好训练的情况，而且fGAN中指出可以用不同的散度来度量两个分布之间的差异，WGAN（Wasserstein GAN）采用的是Earth Mover’s Distence 来衡量两个分布之间的差异

Earth Mover’s Distence的实际计算方法

原始的WGAN让判别器平滑的操作方法：

改进以后的方法：improved WGAN（WGAN-GP）

从原始GAN到WGAN：

古月光军001
关注
专栏目录
李宏毅深度学习笔记——Tips for Improving GAN
weixin_44204511的博客
11-21 309
Tips for Improving GAN 本节思维导图 JS divergence衡量分布的问题 问题在于PG和PdataP_G和P_{data}PG​和Pdata​是不重叠的。因为 图片是高维空间中的低维manifold，就像二维平面上的两条一维曲线，重叠的地方是很少的。 就算PG和PdataP_G和P_{data}PG​和Pdata​有重叠部分，由于我们是对分布采样，所以一般也不会有重叠。 如果两个分布完全没有重合，它们的JS散度就是常数，这样会造成梯度消失，是没有办法做优化的。 L
GAN:Tips for Improving GAN
北国觅梦
11-26 200
GAN->WGAN
机器学习-39-GAN-06-Tips for Improving GAN(改善GAN的技巧：WGAN,WGAN-GP,EBGAN,LSGAN)
迷雾总会解
01-15 730
这篇文章要说的是对传统的GAN进行的一些优化，为了使GAN更容易训练。比如WGAN，它在原始的GAN上面做了几点改动，成功地提升了原始GAN的表现。还有WGAN-GP，EBGAN和LSGAN。
提升GAN的技术 Tips for Improving GAN
albyc22660的专栏
09-02 202
Wasserstein GAN (WGAN) 在一些情况下，用 JS散度来衡量两个分布的远近并不适合： 　　1. 数据是高维空间中的低维流形（manifold），两个分布在高维空间中的 overlap 少到可以忽略。 　　 　　2. 由于 sampling 的局限性，即使两个分布之间真的存在一定的 overlap，但如果采样的数据不够多的话，可能实际上并不能体现出来。 　　 ...
李宏毅学习笔记35.GAN.06.Tips for Improving GAN
老毛的博客
06-12 804
文章目录简介JS divergence来衡量分布的问题What is the problem of JS divergence?Least Square GAN (LSGAN) 简介 Martin Arjovsky, Soumith Chintala, Leon Bottou, Wasserstein GAN, arXiv prepring, 2017 Ishaan Gulrajani, Faruk Ahmed,Martin Arjovsky, Vincent Dumoulin, Aaron Courvil
李宏毅 GAN PPT
12-07
结合标签“深度学习 GAN 李宏毅”，我们可以推测这个压缩包包含的内容将覆盖以下主题： 1. **深度学习基础**：在深入GANs之前，可能先会介绍深度学习的基本概念，如神经网络架构、反向传播、损失函数等。 2. **...
李宏毅GAN对抗生成网络2018最新ppt全套
08-17
李宏毅GAN对抗生成网络2018最新ppt全套,内容非常详细，结合视频一起学习，将大有裨益
李宏毅深度学习GAN课程PPT
06-08
通过学习李宏毅教授的深度学习GAN课程，你可以系统地掌握生成式对抗网络的核心概念，进一步提升在深度学习领域的理论知识和实践技能。无论是对学术研究还是工业界应用，这都将是一份宝贵的参考资料。
李宏毅GAN课程讲义、生成式对抗网络课件
09-30
在提供的压缩包文件“LHY-GAN”中，包含了李宏毅老师关于GAN的十个PDF讲义，这些讲义详细阐述了GAN的核心概念、算法实现以及实战技巧，是学习GAN的宝贵资源。无论是初学者还是有经验的研究者，都能从中受益匪浅。
GAN系列：李宏毅老师GAN课程P6——Tips for Improving GAN
lynlindasy的博客
02-25 471
在上节课中发现目标函数中的散度会使GAN的训练产生各种各样的问题，通常是因为真实数据分布和生成分布间往往重合部分很少，可从两个方面理解： 1. 图像数据本身的原因：图像表示为一个高维的向量，但在这个高维空间中，只有极少一部分向量是图像(高维空间中的低维流形)。因此在这个高维空间中这两个低维流形的重合是非常少的(低维向量被扭曲成空间)。 2. 在衡量两个分布间的散度时，是先对两个分布采样，由...
从传统GAN到improved WGAN
omnispace的博客
09-02 4191
最近做了一个从传统GAN到improved WGAN的报告，把PPT贴上来吧，有需要的小伙伴可以参考一下。论文主要涉及到17年的三篇文章： Arjovsky M, Bottou L. Towards Principled Methods for Training Generative Adversarial Networks[J]. 2017.Arjovsky M, Chintala S, Bot
GAN 生成对抗网络 10-6 Tips for improving GAN
m0_45868903的博客
09-07 123
在二分类问题中，使用JS散度是不合适的，因为图像的性质，PG和Pdata是不可能重叠的，不重叠的情况下计算出的JS散度永远是log2，所以上图中第一个图和第二个图没有区别，因此在二分类问题中会出现训练困难的问题。 tips1 LSGAN 问题：绿色点为real data，蓝色点为generated data。可能会出现一个状况，如果二分类器训练的太好（即蓝色为0，绿色为1），使用sigmoid函数进行训练会出现训练困难的问题，因为在0处梯度几乎为0。这样generator想把蓝色的点往右移发现会移不动..
Wasserstein距离（最优传输距离：
weixin_44862361的博客
06-28 2万+
wasserstein距离
李宏毅机器学习课程从入门到放弃（一）
不负如来不负卿
08-10 2613
————20180810———————- 先加备忘： Ref: [1] https://blog.csdn.net/soulmeetliang/article/details/77461607 [2] https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ/playlists [3] https://github.com/GitY...
Wasserstein distance WGAN 知乎相关三篇
YZXnuaa的博客
03-28 8368
作者：子元链接：https://www.zhihu.com/question/39872326/answer/83688277来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。用什么距离取决于你关心什么类型的差别。举几个例子。1. Kullback-Leibler divergence对于两个分布和，KL散度定义为。可以看出，如果要小，那么大的地方必须要大（否则会很大）...
概率论——Wasserstein距离
热门推荐
CodeTutor
02-23 3万+
Wasserstein距离又叫Earth-Mover距离(EM距离)，用于衡量两个分布之间的距离，定义： W(P1,P2)=infγ∼Π(P1,P2)E(x,y)∼γ[||x−y||]W(P_1, P_2)=\inf_{\gamma \sim\Pi(P_1,P_2)} \mathbb E_{(x,y) \sim \gamma}[||x-y||] Π(P1,P2)\Pi(P_1,P_2)是P1P
GAN——UNIT简单梳理
omnispace的博客
11-13 3349
自从2014年Goodfellow提出GAN（Generative adversarial networks）模型之后，在机器学习领域就砸下了一个大大的陨石坑，此后至今，已经有成百上千篇的GAN相关论文在Arxiv以及各大顶级会议期刊上被发表。时至今日，GAN的各种相关改进模型已经在CV，NLP，语音等相关领域取得了不错的效果，但是待解决的问题依旧很多，广阔天地依旧可以大GAN一场。GAN 在结构
牛客网 玩泥巴 Wasserstein Distance
Ostrichcrab的博客
04-15 565
最近对抗生成网络(GAN)很火，其中有一种变体WGAN，引入了一种新的距离来提高生成图片的质量。这个距离就是Wasserstein距离，又名铲土距离。 这个问题可以描述如下: 有两堆泥土，每一堆有n个位置，标号从1~n。第一堆泥土的第i个位置有ai克泥土，第二堆泥土的第i个位置有bi克泥土。小埃可以在第一堆泥土中任意移挪动泥土，具体地从第i个位置移动k克泥土到第j个位置，但是会...
李宏毅gan网络作业代码讲解
最新发布
07-17
李宏毅是一位著名的机器学习专家，他在GAN（生成对抗网络）方面做出了重要贡献。GAN是一种包含两个神经网络的模型，一个称为生成器（Generator），另一个称为判别器（Discriminator）。GAN的目标是让生成器尽可能地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值