【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN

最新推荐文章于 2022-11-17 17:53:46 发布
最新推荐文章于 2022-11-17 17:53:46 发布
阅读量844 收藏 2
点赞数
分类专栏： 深度学习_李宏毅 文章标签： 深度学习 机器学习 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/122014629
版权

文章目录

我们的目标：让生成的分布Pg = Pdata

在这里插入图片描述

怎么计算两个分布的差异？（只需要采样足够，剩下的交给Discriminator，详细证明参考14年作者论文）

在这里插入图片描述
在这里插入图片描述

进行替换，求得最终目标函数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

想要什么分布，就设计 不同的优化函数，详见这篇文章

在这里插入图片描述

GAN难train，GAN的训练小技巧👇

难训练的原因：Pg和Pdata的分布不重叠

在这里插入图片描述

不重叠JS分布的值总是等于log2，难以判断生成器是否在训练好

在这里插入图片描述

换种方式衡量 两个分布 的差异？

在这里插入图片描述

穷举所有铲土的方式 才能计算 Wasserstein distance
在这里插入图片描述
假设 能计算W，Discriminator就能工作

在这里插入图片描述

眼睛的进化史

在这里插入图片描述

计算Wassersteion distance对于Generator来说（直接给出了，而且D（Discriminator） 要足够平滑）

在这里插入图片描述

怎么确保D是平滑的？（Spectral Normalization）

在这里插入图片描述

算法研究员
关注
专栏目录
GAN学习笔记-李宏毅：GAN Lecture 6 (2018): WGAN, EBGAN
qq_31895943的博客
03-06 787
李宏毅老师讲解的 GAN Lecture 6 (2018): WGAN, EBGAN 最原始的GAN使用JS divergence，然而只要两个分布没有重合，它们的js divergence 都是log2 LSGAN：把sigmoid换成linear，（discriminator不要训的太好也不要太差，就要求能区分又希望在generated data部分可微分） Wassertein...
李宏毅老师-生成式对抗网络（GAN）Part2
weixin_46675905的博客
05-06 143
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 接下来，我们就要继续学习GAN的理论知识 为什么Generator与Discriminator的互动可以让Generator产生像是真正人脸的图片 我们先弄清楚训练的目标到底是什么？ 就是找一个Generator里面的参数来使G*越小越好 但是如何计算divergence呢？ 因为这些divergence用在distribution上面要做几乎不知道怎么算的积分，我们不能算出divergence 这就是GEN所遇到的问题
深度学习-李宏毅GAN学习之WGAN
王伟王胖胖的博客
06-29 1060
深度学习-李宏毅GAN学习之WGAN分布无重叠问题JS散度的问题LSGANWGAN 分布无重叠问题 上几篇讲述了GAN的原理，实际上是衡量JS散度，又讲了散度函数，其实我们可以替换衡量散度函数，只要符合一定的条件就行，这次来讲讲JS散度的问题，从而引出新的衡量散度的方法。 首先我们的分布Pdata和PG是在高维空间的低维流形(暂时理解成一种高维到低纬的映射吧)，所以几乎没有重合部分，这样我们的JS...
GAN系列：李宏毅老师GAN课程P6——Tips for Improving GAN
lynlindasy的博客
02-25 489
在上节课中发现目标函数中的散度会使GAN的训练产生各种各样的问题，通常是因为真实数据分布和生成分布间往往重合部分很少，可从两个方面理解： 1. 图像数据本身的原因：图像表示为一个高维的向量，但在这个高维空间中，只有极少一部分向量是图像(高维空间中的低维流形)。因此在这个高维空间中这两个低维流形的重合是非常少的(低维向量被扭曲成空间)。 2. 在衡量两个分布间的散度时，是先对两个分布采样，由...
李宏毅对抗生成网络 (GAN)教程（4）Tips for GAN (WGAN EBGAN)
Rita's Blog
05-11 447
在李宏毅GAN教程（3） 的基础上增添修改内容 文章目录JS散度不是很适合LSGANEBGANLSGAN（Loss-sensitive GAN）仍然存在的问题GAN for Sequence Generation 为了让GAN容易训练 JS散度不是很适合 最原始的GAN量的是Pg和Pdata之间的JS散度；但是有一个严重的问题：可能两个分布没有任何的重叠，一方面的原因是由于image在高维空间中的分布其实是低维的流形（二维平面折叠在三维空间中），高维空间中的低维流形几乎是可以忽略的，高维空间中随意抽样只有非
李宏毅 HW6 作业及WGAN解析
qq_43613342的博客
09-20 1348
李宏毅hw6作业及WGAN解析。
李宏毅机器学习作业6-使用GAN生成动漫人物脸
最新发布
iwill323的博客
11-17 2732
使用GAN生成动漫人物脸
生成式对抗网络（GAN）（李宏毅2022）
linyuxi_loretta的博客
10-24 1431
我们。
2021-06-05生成对抗网络一 李宏毅（学习笔记）
m0_55217431的博客
06-09 594
把network作为generator使用，特别的地方就是network的输入会加上一个随机变量z，这个z可能是从某一个simple distribution，也就是同时看输入x和z得到输出
李宏毅《GAN Lecture》学习笔记6 - WGAN和EBGAN
好记性不如烂笔头
10-22 302
GAN的提升方法 JS Divergence并不适用！为什么这样说？下面给出解释~ 在很多情况下，Pg和Pdata是没有重合的。原因有两个： 数据本身的特性决定的，地位空间的数据在高维空间的manifold，所以，能够出现重叠的地方，几乎可以忽略； 采样问题，训练过程中，其实是随机采样，而采样的数量相对于分布，可以说是微乎其微，能够有重合的比例也是小的可以忽略不计。（个人觉得这个理由更合理一些~...
Gan网络的实战陆家嘴Gan2
weixin_44523062的博客
05-16 236
李宏毅机器学习|生成对抗网络Generative Adversarial Network (GAN)|学习笔记（2）|GAN理论介绍与WGAN
qq_39923466的博客
09-09 590
文章目录前言1 Our Objective2 Generative Adversarial Network (GAN)GeneratorDiscriminatorBasic Idea of GANAlgorithm结果展示总结 前言 之前老早就听说了GAN，然后对这个方法还不是很了解，想在今后的论文中应用它。因此来学习下李宏毅讲的GAN,记个笔记。视频地址 1 Our Objective 在Generator里面，我们的目标是由Generator产生的分布(叫做PGP_GPG​)和真正的data数据的
【GAN理论与WGAN】——基于李宏毅2021春机器学习课程
Dylan's Blog
12-31 802
GAN 理论 目标 输入一个Normal Distribution到Generator里，得到一个复杂的Distribution，PG。 我们还有一个标准的data集，形成另一个Distribution，Pdata。 因此，定义一个loss function（损失函数）来让PG和Pdata之间的Divergence（可以理解为距离）越小越好，如上图公式。 我们目标就是找一组Generator的参数（简写为G*）让divergence越小越好。 GAN有个问题——divergence不好计算 （老师就单
GAN2——Keras搭建DCGAN利用深度卷积神经网络实现图片生成
Mo181111的博客
07-04 1721
参考：https://blog.csdn.net/weixin_44791964/article/details/103743038 b站视频：https://www.bilibili.com/video/BV13J41187Fo 目录 学习前言 什么是DCGAN 神经网络构建 1、Generator 2、Discriminator 训练思路 实现全部代码 实现效果为： 学习前言 什么是DCGAN DCGAN的全称是Deep Convolutional Generative A
李宏毅（6）——improve GAN的技巧（wGAN）
duyue3052的博客
09-27 1087
目录   1：判别器执行JS时存在的问题 1.1：LSGAN，把二分类问题变成线性回归问题 1.2：WGAN（推土机距离） 1.3：Spectrum Norm判别器所有区域的梯度都<1 1.4:EBGAN用真实图片预训练编解码器 1.5：LSGAN更精细地评判生成样本 1：判别器执行JS时存在的问题 1，图像被认为是低维数据在高维空间的折叠，两个图像之间的重叠很少 2，就...
4 李宏毅生成对抗网络学习———WGAN
qq_35608277的博客
11-12 1199
论文题目：《Wasserstein GAN》（ 2017年收录于ICML ） 1 背景 生成对抗网络GAN（ General Adversarial Networks ）诞生以来出现的 一些问题。问题核心在GAN的目标函数JS散度： 当判别器D训练得越好，生成器G的梯度消失越严重。 优化JS散度，相当于两个分布更加接近，让两个分布重叠的时候，可以达到“以假乱 真”。但是经过分析，两种分布重叠的...
W-GAN系 (Wasserstein GAN、 Improved WGAN)
Candy_GL的博客
07-21 3844
习总结于国立台湾大学 ：李宏毅老师 Wasserstein GAN  、  Improved Training of Wasserstein GANs 本文outline 一句话介绍WGAN： Using Earth Mover’s Distance to evaluate two distribution    Earth Mover‘s Distance（EMD） = Wassers...
GAN：两者分布不重合JS散度为log2的数学证明
热门推荐
Invokar的博客
03-30 1万+
引言: 不知道大家在初学GAN时，当遇到WGAN时，突然抛出一个结论：对于真实数据分布PrP_rPr​和生成数据分布PgP_gPg​，如果满足上述无法全维度重合的情况的话，则JSD(Pr∣∣Pg)=log⁡2JSD(P_r||P_g)=\log2JSD(Pr​∣∣Pg​)=log2其实当初我刚接触这个结论时，还是挺疑惑的，不知道如何用数学证明。在思考了一会后，找到了一个合理的证明思路，如果有误，...
纯干货12 2017年5月份-李宏毅-最新GAN中文视频教程分享
lqfarmer的博客
07-19 4885
推荐一套由台湾大学李宏毅老师讲解的关于生成对抗学习（Generative Adversarial Network）最新的视频教程。 该套视频教程在2017年5月份分享出来的，课程采用中文授课，讲解了GAN基本概念，GAN的分类，如何优化和评价GAN， 以及GAN在智能对话和视频生成相关的应用实例，非常不错的一套视频教程。 课程目录截图： 因为视频需要翻墙，我直接下载整理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值