从传统GAN到improved WGAN

最新推荐文章于 2024-03-23 09:51:10 发布
最新推荐文章于 2024-03-23 09:51:10 发布
阅读量4.1k 收藏 2
点赞数
分类专栏： Deep Learning; Generative Adversarial Network 文章标签： GAN deep learning DCGAN WGAN

最近做了一个从传统GAN到improved WGAN的报告，把PPT贴上来吧，有需要的小伙伴可以参考一下。论文主要涉及到17年的三篇文章： Arjovsky M, Bottou L. Towards Principled Methods for Training Generative Adversarial Networks[J]. 2017.Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[J]. 2017.Gulrajani I, Ahmed F, Arjovsky M, et al. Improved Training of Wasserstein GANs[J]. 2017.在做报告的过程中，有参考网上的一些博客，特别是中山大学的郑华滨的博文给了很大的帮助。

作者：Wayne链接：https://www.zhihu.com/question/52602529/answer/169626095来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Omni-Space
关注
专栏目录
从GAN到WGAN（02/2）
gongdiwudu的专栏
06-14 2936
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
GAN：WGAN-GP-带有梯度惩罚的WGAN
微风❤水墨
12-01 3208
WGAN-GP中移除了判别器中的BN操作： 因为WGAN-gp的惩罚项计算中，惩罚的是单个数据的gradient norm，如果使用 batchNorm，就会扰乱这种惩罚，让这种特别的惩罚失效。所以只有设置的不大不小，比如c=0.01（wgan作者推荐的数值），下图中的紫色线，梯度保持相对合理，才能让生成器获得不错的回传梯度。公式在下面， 里面表达的是它在WGAN的loss上加了一个惩罚项，如果判别器的 gradient 的 norm，离 1 越远，那么 loss 的惩罚力度越高。作者发现移除后效果很好。
improved_wgan_wgan_
09-29
WGAN实验程序，包括minst手写数据集等程序
Improved GAN
weixin_34379433的博客
07-20 356
https://www.bilibili.com/video/av9770302/?p=16 从之前讲的basic gan延伸到unified framework，到WGAN 再到通过WGAN进行Generation和Transformation 复习一下GAN， 首先我们有一个目标，target分布，Pdata， 蓝色部分表示Pdata高，即从这部分取出的x都是符合预期的，比如这里...
W-GAN系 (Wasserstein GAN、 Improved WGAN)
Candy_GL的博客
07-21 3804
习总结于国立台湾大学 ：李宏毅老师 Wasserstein GAN  、  Improved Training of Wasserstein GANs 本文outline 一句话介绍WGAN： Using Earth Mover’s Distance to evaluate two distribution    Earth Mover‘s Distance（EMD） = Wassers...
深度学习 lab14_2 WGAN学习笔记(KL JS divergence, improved WGAN)
weixin_38699659的博客
12-05 338
Concept KL JS divergence https://www.cnblogs.com/smuxiaolei/p/7400923.html https://www.bilibili.com/video/av19193502?from=search&seid=15708729020988943650 kl divergence 使用entropy公式计算 （1）以八种天气情况作为...
improved wgan
05-16
改进的WGAN是一种用于生成对抗网络（GAN）的算法。原始的WGAN出现了一些问题，例如存在梯度消失或爆炸的问题，通过加入梯度惩罚项（gradient penalty）来改进这个问题。 改进后的WGAN可以更准确地度量生成的样本与...
Improved_WGAN:在TensorFlow中实施“改进的Wasserstein GAN训练”论文
04-29
与GAN相比，改进了WGAN： 使用不同的距离度量来比较分布（Wasserstein而不是KL散度） 使用渐变罚分对评论家施加Lipschitz约束 顶部的图像是使用DCGAN和自定义升采样架构可获得的最佳效果。 所使用的数据集是...
GAN及其变体WGAN, improved WGAN, DualGAN, cycleGAN（二）
陶将的博客
11-28 3642
上篇文章见：GAN及其变体C_GAN,infoGAN,AC_GAN,DC_GAN（一） WGAN（Wasserstein GAN） 论文： Towards Principled Methods for Training Generative Adversarial Networks Wasserstein GAN 前一篇论文并没有介绍一个算法，而是给出GAN动态训练的理论理解，一堆公式定理...
improved_wgan_training, 在"Improved Training of Wasserstein GANs" 中，用于复制实验的代码.zip
09-17
improved_wgan_training, 在"Improved Training of Wasserstein GANs" 中，用于复制实验的代码 改进 Wasserstein GANs的训练在 "改进 Wasserstein GANs的训练"中复制实验的代码。先决条件python，NumPy，TensorFlow，scipy，Matplotlib最新的NVIDIA GPU
Generative Adversarial Nets[Improved GAN]
weixin_30672019的博客
01-19 162
0.背景 Tim Salimans等人认为之前的GANs虽然可以生成很好的样本，然而训练GAN本质是找到一个基于连续的，高维参数空间上的非凸游戏上的纳什平衡。然而不幸的是，寻找纳什平衡是一个十分困难的问题。在现有的针对特定场景算法中，GAN的实现通常是使用梯度下降的方法去训练GAN网络的目标函数，意在找到lost函数最低值而已，而不是真的找零和游戏中的纳什平衡。且目标函数本身是非凸函数，其中是连...
李宏毅深度学习-Improved GAN
一个AI程序媛的成长之路
12-07 905
1. What is f-divergence ?《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》, NIPS, 2016 You can use any f-divergence! PP and QQ are two distributions. p(x)p(x)
improved GAN Part1
sinat_32043495的博客
11-28 911
1.F-divergence:衡量P和Q有多不一样 内容有函数f要满足的条件:为什么可以满足f(1)=0、为什么可以满足Df的最小值是0（f是凸函数的条件） 举例，有哪些函数可以作为F-divergence KL divergence就是一种F-divergence 2.Fenchel Conjugate 每一个f都有一个和它配对的f* f*到底是在做什么
探索未来生成模型：Improved-GAN深度解析与应用
最新发布
gitblog_00007的博客
03-23 859
探索未来生成模型：Improved-GAN深度解析与应用 项目地址:https://gitcode.com/openai/improved-gan 该项目[链接]由OpenAI团队提出并维护，名为"Improved Generative Adversarial Networks"（Improved-GAN），它是一个针对深度学习领域中生成对抗网络（GAN）的改进和优化框架。GA...
GAN：ImprovedGAN-训练GAN的改进策略
微风❤水墨
11-28 671
具体来说，生成网络产生的图片经过判别网络后的中间层的feature 和真实图片经过判别网络的feature尽可能相同。首先从训练集中拿出一个batch在训练开始前固定起来，算出这个特定batch的均值和方差，进行更新训练中的其他batch。这是因为辨别器在辨别的时候是对单个样本进行辨别（对每个输入均给出一个0-1的分数），没有考虑样本之间的关系，所以容易造成模式坍塌。但是BN有个缺点，即BN会时G网络生成一个batch的图片中，每张图片都有相关联（如，一个batch中的图片都有比较多的绿色）。
李宏毅（6）——improve GAN的技巧（wGAN）
duyue3052的博客
09-27 1069
目录   1：判别器执行JS时存在的问题 1.1：LSGAN，把二分类问题变成线性回归问题 1.2：WGAN（推土机距离） 1.3：Spectrum Norm判别器所有区域的梯度都<1 1.4:EBGAN用真实图片预训练编解码器 1.5：LSGAN更精细地评判生成样本 1：判别器执行JS时存在的问题 1，图像被认为是低维数据在高维空间的折叠，两个图像之间的重叠很少 2，就...
ImprovedGAN论文略读
HHzdh的博客
08-24 1113
论文：https://arxiv.org/abs/1606.03498 源码：https://github.com/openai/improved_gan 参考：博客1，博客2 1 介绍 GAN是基于博弈论的生成模型方法。GAN训练一个生成网络来生成尽可能真实的图像，一个判别网络尽可能区分真是图像和生成图像。训练GAN要求找到在连续高维参数下非凸博弈的纳什均衡。但是通常GAN用梯度下降方法去寻找损失函数的最小值，而不是纳什均衡，这可能会导致无法收敛。论文中介绍了几个方法去尽量实现G...
一个比WGAN更优秀的模型(WGAN-GP)
机器学习
05-29 3566
WGAN-GP (improved wgan) paper GitHub WGAN-GP是WGAN之后的改进版，主要还是改进了连续性限制的条件，因为，作者也发现将权重剪切到一定范围之后，比如剪切到[-0.01,+0.01]后，发生了这样的情况，发现大多数的权重都在-0.01 和0.01上，这就意味了网络的大部分权重只有两个可能数，对于深度神经网络来说不能充分发挥深度神经网络的拟合能力，简...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值