李宏毅2020ML——P77 WGAN（tips for improving GA）

最新推荐文章于 2022-09-20 23:04:38 发布
最新推荐文章于 2022-09-20 23:04:38 发布
阅读量159 收藏
点赞数
分类专栏： 李宏毅2020ML 文章标签： 人工智能 深度学习 算法 GAN WGAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115217772
版权

introduce

在这里插入图片描述
在之前推论得到说GAN的最优化判别器，化简到最后发现是用JS散度去衡量 P G P_G PG​ , P d a t a P_{data} Pdata​之间的差距。但是 P G P_G PG​ 和 P d a t a P_{data} Pdata​在大多数情况下，是没有重合的。

原因：

  1. 高维空间中的低密度流行，重叠可以忽略不计

  2. 采样的数据并不一定会有重合

因此我们说：JS divergence 不是最适合的
在这里插入图片描述
为什么没有重合就不行呢，根据JS散度的特性，如果两个分布完全没有重叠的话，JS散度的值就是log2。直到有重叠值为0 。

JS divergence的缺陷在于
在这里插入图片描述
在这里插入图片描述

解决办法一：LSGAN

在这里插入图片描述

解决办法二——WGAN

思想介绍：
在这里插入图片描述
但是挖土的方法有很多
在这里插入图片描述
示例最好的moving plans
在这里插入图片描述
用矩阵来帮助计算
在这里插入图片描述
既然计算移动距离不容易，那么我们为什么需要怎么做呢
在这里插入图片描述
修改discriminator
在这里插入图片描述
需要加上限制函数
在这里插入图片描述

WGAN-GP

提升方法
在这里插入图片描述
连接data的交点形成一个Ppenalty
在这里插入图片描述
这样的方式也会出现问题
在这里插入图片描述

Spectrum Norm

在这里插入图片描述
WGAN的流程
在这里插入图片描述

EBGAN

在这里插入图片描述
也需要加入一个格外的限制
在这里插入图片描述

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【PyTorch][chapter 22][李宏毅深度学习][ WGAN]【实战三】
4AM_明朝百晓生
03-19 881
原因是判别器是一个多层网络，如果我们把clipping threshold设得稍微小了一点，每经过一层网络，梯度就变小一点点，多层之后就会指数衰减；反之，如果设得稍微大了一点，每经过一层网络，梯度变大一点点，多层之后就会指数爆炸。只有设得不大不小，才能让生成器获得恰到好处的回传梯度，然而在实际应用中这个平衡区域可能很狭窄，就会给调参工作带来麻烦。我们知道WGAN 是根据Wasserstein Distance 推导出来的。WGAN 训练起来蛮麻烦的,如果要获得好的效果很多超参数需要手动设置。
台湾大学李宏毅机器学习课程
06-04
李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大学博士学位，并于2013年赴麻省理工学院（MIT）计算机科学和人工智能实验室做访问学者。他的研究方向主要是语义理解、语音识别、机器学习和深度学习）老师的机器学习课程以机器学习和深度学习的基础知识为主，包含了AI领域的各种最新知识和技术点。课程深入简出，通俗易懂，颇受欢迎，非常适合对AI感兴趣的学习者。本课程已经获得李宏毅老师授权。
李宏毅 HW6 作业及WGAN解析
qq_43613342的博客
09-20 1250
李宏毅hw6作业及WGAN解析。
李宏毅对抗生成网络 (GAN)教程（4）Tips for GAN (WGAN EBGAN)
Rita's Blog
05-11 369
在李宏毅GAN教程（3） 的基础上增添修改内容 文章目录JS散度不是很适合LSGANEBGANLSGAN（Loss-sensitive GAN）仍然存在的问题GAN for Sequence Generation 为了让GAN容易训练 JS散度不是很适合 最原始的GAN量的是Pg和Pdata之间的JS散度；但是有一个严重的问题：可能两个分布没有任何的重叠，一方面的原因是由于image在高维空间中的分布其实是低维的流形（二维平面折叠在三维空间中），高维空间中的低维流形几乎是可以忽略的，高维空间中随意抽样只有非
4 李宏毅生成对抗网络学习———WGAN
qq_35608277的博客
11-12 1161
论文题目：《Wasserstein GAN》（ 2017年收录于ICML ） 1 背景 生成对抗网络GAN（ General Adversarial Networks ）诞生以来出现的 一些问题。问题核心在GAN的目标函数JS散度： 当判别器D训练得越好，生成器G的梯度消失越严重。 优化JS散度，相当于两个分布更加接近，让两个分布重叠的时候，可以达到“以假乱 真”。但是经过分析，两种分布重叠的...
李宏毅 2020 ML Homework 1: Linear Regression-数据集
03-25
在这个“李宏毅2020 ML Homework 1: Linear Regression-数据集”中，我们关注的是一个回归问题，特别是针对PM2.5（细颗粒物）浓度的预测。PM2.5是指大气中直径小于或等于2.5微米的颗粒物，对人体健康和环境有显著...
李宏毅 2020 ML Homework 2 - Classification-数据集
03-25
《李宏毅2020年机器学习作业2——分类数据集详解》 在这个数据集中，我们关注的是李宏毅教授在2020年开设的机器学习课程中的第二个作业，主题是“分类”。分类是机器学习领域的一个基础任务，其目标是根据输入特征...
视频学习笔记——李宏毅机器学习——P1，2
09-12
【机器学习介绍】 机器学习是计算机科学的一个分支，它的核心目标是使计算机系统具备自我学习的能力，从而在没有明确编程的情况下改善其性能。这源于人类的学习潜能，只不过在这里，我们试图通过算法和统计模型来...
李宏毅2020机器学习作业2——Classification
01-21
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载...
WGAN (v2).pdf
04-07
李宏毅wgan
李宏毅机器学习|生成对抗网络Generative Adversarial Network (GAN)|学习笔记（2）|GAN理论介绍与WGAN
qq_39923466的博客
09-09 418
文章目录前言1 Our Objective2 Generative Adversarial Network (GAN)GeneratorDiscriminatorBasic Idea of GANAlgorithm结果展示总结 前言 之前老早就听说了GAN，然后对这个方法还不是很了解，想在今后的论文中应用它。因此来学习下李宏毅讲的GAN,记个笔记。视频地址 1 Our Objective 在Generator里面，我们的目标是由Generator产生的分布(叫做PGP_GPG​)和真正的data数据的
W-GAN系 (Wasserstein GAN、 Improved WGAN)
Candy_GL的博客
07-21 3761
习总结于国立台湾大学 ：李宏毅老师 Wasserstein GAN  、  Improved Training of Wasserstein GANs 本文outline 一句话介绍WGAN： Using Earth Mover’s Distance to evaluate two distribution    Earth Mover‘s Distance（EMD） = Wassers...
深度学习-李宏毅GAN学习之WGAN
王伟王胖胖的博客
06-29 1034
深度学习-李宏毅GAN学习之WGAN分布无重叠问题JS散度的问题LSGANWGAN 分布无重叠问题 上几篇讲述了GAN的原理，实际上是衡量JS散度，又讲了散度函数，其实我们可以替换衡量散度函数，只要符合一定的条件就行，这次来讲讲JS散度的问题，从而引出新的衡量散度的方法。 首先我们的分布Pdata和PG是在高维空间的低维流形(暂时理解成一种高维到低纬的映射吧)，所以几乎没有重合部分，这样我们的JS...
（三）WGAN和WGAN-GP解读与项目实战
SCU-JJkinging的博客
07-21 5635
（三）Wasserstein-GAN 一、传统的GAN的缺陷 1.超参数敏感        超参数敏感是指网络的结构设定、学习率、初始化状态等超参数对网络的训练过程影响较大，微量的超参数调整将可能导致网络的训练结果截然不同。如图 13.15 所示，图(a)为 GAN 模型良好训练得到的生成样本，图(b)中的网络由于没有采用 Batch Normalization层等设置，导致 GAN 网络训练不稳定，无法收敛，生成的样本与真实样本差距非常
【GAN理论与WGAN】——基于李宏毅2021春机器学习课程
Dylan's Blog
12-31 757
GAN 理论 目标 输入一个Normal Distribution到Generator里，得到一个复杂的Distribution，PG。 我们还有一个标准的data集，形成另一个Distribution，Pdata。 因此，定义一个loss function（损失函数）来让PG和Pdata之间的Divergence（可以理解为距离）越小越好，如上图公式。 我们目标就是找一组Generator的参数（简写为G*）让divergence越小越好。 GAN有个问题——divergence不好计算 （老师就单
GAN学习笔记-李宏毅：GAN Lecture 6 (2018): WGAN, EBGAN
qq_31895943的博客
03-06 756
李宏毅老师讲解的 GAN Lecture 6 (2018): WGAN, EBGAN 最原始的GAN使用JS divergence，然而只要两个分布没有重合，它们的js divergence 都是log2 LSGAN：把sigmoid换成linear，（discriminator不要训的太好也不要太差，就要求能区分又希望在generated data部分可微分） Wassertein...
李宏毅MLDS课程笔记9：Generative Adversarial Network(GAN)
徐子尧的博客
04-23 4277
NIPS 2016 Tutorial: Generative Adversarial Networks [Paper] [Video] tips for training GAN: https://github.com/soumith/ganhacksBasic Idea of GAN1、最大化似然函数等价于最小化PdataP_{data} 与PGP_G 之间的KL散度。如果PGP_G 取的是GM
李宏毅GAN学习——传统GAN（2014年首次提出的）
weixin_43129474的博客
11-20 1665
李宏毅GAN学习GAN概述 GAN概述 GAN可让机器做的事：生成图片、句子、诗、文章… vector—>Genarator—>Image—>Discrominator—>scalar 训练目的：使从随机分布中采样的向量生成的图像的分别越接近数据库中图像的分布。 ...
李宏毅2020机器学习笔记attention
最新发布
08-12
这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成模型中，主要讲述了如何生成一个有结构的对象。接下来介绍了注意力机制，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值