Wasserstein GANs 三部曲（一）：Towards Principled Methods for Training Generative Adversarial Networks的理解

最新推荐文章于 2024-05-28 07:30:00 发布
最新推荐文章于 2024-05-28 07:30:00 发布
阅读量6.1k 收藏 20
点赞数 4
分类专栏： GAN系列笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaohouzi1992/article/details/80839921
版权
本文探讨了生成对抗网络(GANs)的训练问题，特别是KL散度和JS散度导致的优化挑战。文章通过数学推理和直观解释指出，当分布不重叠或重叠部分极小时，会导致训练不稳定和梯度消失。作者介绍了Wasserstein距离作为替代度量，以提高GAN的训练稳定性和避免样本单一化。
摘要由CSDN通过智能技术生成

论文地址：https://arxiv.org/abs/1701.04862

这一篇文章相当于一个引言，运用了许多推导与证明说明了生成对抗网路存在的一系列问题，然后引入了一个新的评价标准。虽然公式推导是比较乏味的，也可以参阅知乎上的这篇文章https://zhuanlan.zhihu.com/p/25071913，比较简单直观。当时我在学习的时候有部分也借鉴了这篇文章，以下是我的理解：

第一部分GAN 存在的问题：

        1.GAN问题：难以训练，训练过程只能是启发式的，比如之前的DCGAN

        2.GAN的生成模型和其它相比并没有太大不同，最主要的不同之处就是生成模型如何训练。

        3.以前的生成模型训练依赖于极大似然估计或者KL散度。

            K L散度定义：

                     

           如果两个分布相等，则KL散度达到最小值。但是KL散度是不对称的，论文中是以为例说明的，如下（一般文章中是最小化，在分析中互换一下就可以啦）

            如果

最低0.47元/天 解锁文章
大白兔兔92
关注
  • 4
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Wasserstein Generative adversarial Networks (WGANs) 学习WGAN资料汇总
weixin_37896489的博客
11-19 1722
学习wgan过程中比较精华的资料： 可以先看看原始wgan的论文，或者学完下面列出的知识之后去读wgan的论文： WGAN paper 吴恩达老师团队新出的与gan有关的课程，其中course1_week3讲到了wgan:(偏向直观理解) course1_week3_wgan 视频的12:12处开始可以看到李宏毅老师讲的和WGAN相关的内容（讲的非常清晰）（偏向理论理解） 李宏毅WGAN 视频学完可以看看知乎的一篇文章，写的非常好 令人拍案叫绝的Wasserstein GAN 4.接下来就是
【论文精读】(WGAN前)Towards Principled Methods For Training Generative Adversarial Networks
你的深度学习小站
11-30 4949
Towards Principled Methods For Training Generative Adversarial Networks 文章目录Towards Principled Methods For Training Generative Adversarial Networks全文梳理摘要1. 介绍训练生成模型的传统方法生成对抗网络训练生成模型的方法2. 不稳定的来源2.1 完美辨别器定理2.2 每个代价函数的后果和问题2.2.1 原始的代价函数2.2.2 用−log⁡D-\log D−l
深度学习 ❉ 生成对抗网络（Generative Adversarial Networks, GANs）
最新发布
weixin_43156294的博客
05-28 1575
生成对抗网络（Generative Adversarial Networks, GANs）是一种深度学习模型，由Ian Goodfellow等人在2014年提出。它由两个主要部分组成：生成器（Generator）和判别器（Discriminator）。GANs通过这两个组件的对抗过程来生成新的、与真实数据相似的数据样本。
[ICML 2017] Wasserstein Generative Adversarial Networks (WGAN)
连理o的博客
03-11 727
[ICML 2017] Wasserstein Generative Adversarial Networks (WGAN)
Wasserstein Generative Adversarial Nets (WGAN ) and CGAN
weixin_33862041的博客
04-05 354
GAN目前是机器学习中非常受欢迎的研究方向。主要包括有两种类型的研究，一种是将GAN用于有趣的问题，另一种是试图增加GAN的模型稳定性。 事实上，稳定性在GAN训练中是非常重要的。起初的GAN模型在训练中存在一些问题，e.g., 模式塌陷（生成器演化成非常窄的分布，只覆盖数据分布中的单一模式）。模式塌陷的含义是发生器只能产生非常相似的样本（例如MNIST中的单个数字），即所产生的样本不是多样的。...
ASRWGAN: Wasserstein Generative Adversarial Network for Audio Super Resolution
凌逆战的博客
10-16 980
ASEGAN：WGAN音频超分辨率 这篇文章并不具有权威性，因为没有发表，说不定是外国的某个大学的毕业设计，或者课程结束后的作业、或者实验报告。 CS230: Deep Learning, Spring 2018, Stanford University, CA. (LateX template borrowed from NIPS 2017.) 作者：Jonathan Gomes...
Generative Adversarial Networks in Computer Vision A Survey a
09-23
生成对抗网络（Generative Adversarial Networks, GANs）自2014年提出以来，已成为机器学习领域尤其是计算机视觉（Computer Vision, CV）中的一项重要技术。GANs的核心思想是通过两个神经网络——生成器（Generator...
A Review of Generative Adversarial Networks in Cancer Imaging N
09-23
生成对抗网络（Generative Adversarial Networks, GANs）自2014年被提出以来，已经在诸多领域展现出强大的生成能力和模型学习潜力，尤其在医疗影像分析，尤其是癌症成像方面，其应用日益广泛。本文将对这一主题进行...
wasserstein-gans:使用Tensorflow实现Wasserstein生成对抗网络
04-29
Wasserstein生成对抗网络或WGAN是最近流行的Generative Adversarial网络或GAN的变体。 在机器学习社区中，众所周知，GAN非常难以训练（不要相信我！请尝试训练一个..），并且会遇到以下问题： 在GAN中训练生成器和...
1704.00028Improved Training of Wasserstein GANs.zip
10-02
标题 "1704.00028 Improved Training of Wasserstein GANs" 指的是一项关于改进 Wasserstein GAN（ Wasserstein Generative Adversarial Networks）训练方法的研究论文，发表于2017年。GANs 是深度学习领域的一种...
WGAN_GP:“改进的Wasserstein GANs训练”的Keras模型和张量流优化
05-17
Wasserstein GAN（带梯度罚分） Keras模型和张量流优化 在学习之前，请先下载图像训练数据。 python main.py --datadir (path to the directory contains images) 样本生成的图像（使用，church_outdoor类别） ...
Generative Adversarial Networks
03-25
Generative Adversarial Networks，GAN，一种深度学习算法的论文
论文翻译：ASRWGAN: Wasserstein Generative Adversarial Network for Audio Super Resolution
凌逆战的博客
10-16 397
论文题目：ASEGAN：WGAN音频超分辨率 这篇文章并不具有权威性，因为没有发表，说不定是外国的某个大学的毕业设计，或者课程结束后的作业、或者实验报告。 CS230: Deep Learning, Spring 2018, Stanford University, CA. (LateX template borrowed from NIPS 2017.) 代码：github 作...
Generative Adversarial Nets(生成对抗网络)
mjl_cv的博客
08-28 612
Generative Adversarial Nets(生成对抗网络) 　　生成对抗网络通过一个对抗步骤来估计生成模型，它同时训练两个模型：一个是获取数据分布的生成模型$G$，一个是估计样本来自训练数据而不是$G$的概率的判别模型$D$。$G$的训练步骤就是最大化$D$犯错的概率。这个框架对应于一个二元极小极大博弈。在任意函数$G$和$D$的空间中...
[生成对抗网络GAN入门指南]（5）WassersteinGAN
gdtop的个人笔记
02-12 4586
本篇blog的内容基于原始论文WassersteinGAN和《生成对抗网络入门指南》第五章。 一、GAN的优化问题 WGAN前作：TOWARDS PRINCIPLED METHODS FOR TRAINING GENERATIVE ADVERSARIAL NETWORKS 关于GAN的一些问题：训练的不稳定性；理论上，应该先把判别器训练到足够好，但是实际操作发现反而更难去优化生成器。 上述...
论文阅读：Severity-Aware Semantic Segmentation with Reinforced Wasserstein Training
qq_36224225的博客
07-16 1261
Severity-Aware Semantic Segmentation with Reinforced Wasserstein Training 文章目录Severity-Aware Semantic Segmentation with Reinforced Wasserstein Training摘要主要贡献方法实验个人总结 摘要 基于交叉熵损失的像素分类在分割问题上取得成功，但是交叉熵有局限性。 当使用交叉熵损失时，分割类别是独立考虑的，没有考虑成对儿误分类的不同严重程度。 当发生错误预测时，不同误
GenerativeAdversarial Nets生成对抗式网络
weixin_34101784的博客
02-14 135
GAN（GenerativeAdversarial Nets）生成对抗式网络 G（Generator）：模拟数据分布，目的是最大化D犯错的概率 D（Discriminator）：估计一个样本来自训练集的概率，目的是最小化D犯错的概率 最后达到1/2的平衡状态。G和D由多层感知机定义，系统使用反向传播(backpropagation)训练。训练或产生样本的时候不需要马尔科夫链或者展开的...
论文阅读笔记1——From Adversarial Training to Generative Adversarial Networks
sinat_17581847的博客
04-19 372
论文标题：From Adversarial Training to Generative Adversarial Networks 原文链接：https://arxiv.org/pdf/1807.10454.pdf 贡献： 联系GAN和对抗训练，提出AdvGAN，在同一个网络中连接生成器、判别器和对抗攻击者。通过共同训练（co-training）和微调（fine-tunning），同时提高生成...
improved techniques for training gans
03-16
感谢您的提问！GAN（生成对抗网络）是一种强大的生成模型，但是其训练过程也很具有挑战性。以下是一些改进 GAN 训练技术的方法： 1. 条件 GAN：在传统的 GAN 中，生成器是无条件的，即它只能生成与训练数据类似的样本。但是，在条件 GAN 中，生成器可以从特定的条件（例如标签或类别）生成样本。条件 GAN 可以产生更加准确和多样的样本。 2. 损失函数：传统的 GAN 使用的是交叉熵损失函数。但是，一些改进的损失函数，例如 WGAN（Wasserstein GAN）和 LSGAN（Least Squares GAN），可以更好地训练 GAN。 3. 批归一化（Batch Normalization）：批归一化是一种常用的正则化技术，可以加速 GAN 的收敛。通过对每个批次的输入进行标准化，批归一化可以帮助生成器和鉴别器更好地学习数据分布。 4. 渐进式训练（Progressive Training）：在传统的 GAN 训练中，生成器和鉴别器一起训练，这可能导致训练不稳定。渐进式训练通过逐渐增加生成器和鉴别器的复杂性，逐步提高模型的稳定性和生成样本的质量。 5. 权重修剪（Weight Clipping）：WGAN 中的权重修剪可以帮助 GAN 更好地学习数据分布。通过将鉴别器权重限制在一个固定范围内，权重修剪可以防止鉴别器权重过大，从而稳定训练过程。 希望这些技术可以帮助您更好地训练 GAN！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值