李宏毅（6）——improve GAN的技巧（wGAN）

最新推荐文章于 2024-07-02 03:02:29 发布
最新推荐文章于 2024-07-02 03:02:29 发布
阅读量1k 收藏 3
点赞数
分类专栏： GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duyue3052/article/details/82862841
版权
本文探讨了在生成对抗网络（GANs）中判别器存在的问题，如梯度消失，以及提出的不同解决方案，包括LSGAN将二分类问题转化为线性回归，WGAN通过推土机距离实现平滑度约束，Spectrum Norm确保判别器各区域梯度小于1，EBGAN利用真实图片预训练编解码器保护高分图片，以及LSGAN的精细化评估生成样本。这些方法旨在提升GAN的训练效果和生成质量。
摘要由CSDN通过智能技术生成

目录

 

1：判别器执行JS时存在的问题

1.1：LSGAN，把二分类问题变成线性回归问题

1.2：WGAN（推土机距离）

1.3：Spectrum Norm判别器所有区域的梯度都<1

1.4:EBGAN用真实图片预训练编解码器

1.5：LSGAN更精细地评判生成样本

1：判别器执行JS时存在的问题

1，图像被认为是低维数据在高维空间的折叠，两个图像之间的重叠很少

2，就算有重叠，也很难被采样点描绘清楚

3，不重叠计算出来的结果就是log2（可以完全分开，没有重叠）

4，无法得到明确的距离，怎么动都是log2，那么梯度=0，生成器就无法优化

5，一个简单的解决方案是，不要把判别器训练的太好

1.1：LSGAN，把二分类问题变成线性回归问题

1.2：WGAN（推土机距离）

最低0.47元/天 解锁文章
chen5561
关注
专栏目录
GAN：ImprovedGAN-训练GAN的改进策略
微风❤水墨
11-28 649
具体来说，生成网络产生的图片经过判别网络后的中间层的feature 和真实图片经过判别网络的feature尽可能相同。首先从训练集中拿出一个batch在训练开始前固定起来，算出这个特定batch的均值和方差，进行更新训练中的其他batch。这是因为辨别器在辨别的时候是对单个样本进行辨别（对每个输入均给出一个0-1的分数），没有考虑样本之间的关系，所以容易造成模式坍塌。但是BN有个缺点，即BN会时G网络生成一个batch的图片中，每张图片都有相关联（如，一个batch中的图片都有比较多的绿色）。
Improved GAN
weixin_34379433的博客
07-20 351
https://www.bilibili.com/video/av9770302/?p=16 从之前讲的basic gan延伸到unified framework，到WGAN 再到通过WGAN进行Generation和Transformation 复习一下GAN， 首先我们有一个目标，target分布，Pdata， 蓝色部分表示Pdata高，即从这部分取出的x都是符合预期的，比如这里...
谱范数（Spectral Norm）
最新发布
weixin_35149268的博客
07-02 527
谱范数（Spectral Norm），也称为算子2-范数，是一种用于衡量矩阵大小的标准方法。它特别关注矩阵在作用于向量时可能放大的最大比例。在实际应用中，谱范数常用于控制和优化理论、数值分析等领域。下面是对谱范数的详细介绍。定义谱范数定义为矩阵作用在单位向量上时的最大放大因子。具体来说，谱范数是的最大奇异值，即：计算谱范数...
李宏毅深度学习-Improved GAN
一个AI程序媛的成长之路
12-07 902
1. What is f-divergence ?《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》, NIPS, 2016 You can use any f-divergence! PP and QQ are two distributions. p(x)p(x)
ICCV 2017：训练GAN的16个技巧，2400+星（PPT）
人工智能
10-29 1万+
作者：Soumith Chintala等 编译：马文 【新智元导读】本文来自ICCV 2017的Talk：如何训练GAN，FAIR的研究员Soumith Chintala总结了训练GAN的16个技巧，例如输入的规范化，修改损失函数，生成器用Adam优化，使用Sofy和Noisy标签，等等。这是NIPS 2016的Soumith Chintala作的邀请演讲的修改版本，而2016年的
ImprovedGAN论文略读
HHzdh的博客
08-24 1101
论文：https://arxiv.org/abs/1606.03498 源码：https://github.com/openai/improved_gan 参考：博客1，博客2 1 介绍 GAN是基于博弈论的生成模型方法。GAN训练一个生成网络来生成尽可能真实的图像，一个判别网络尽可能区分真是图像和生成图像。训练GAN要求找到在连续高维参数下非凸博弈的纳什均衡。但是通常GAN用梯度下降方法去寻找损失函数的最小值，而不是纳什均衡，这可能会导致无法收敛。论文中介绍了几个方法去尽量实现G...
李宏毅： improved generative adversarial network（GAN）
jiaojiaolou的博客
06-05 444
1、generation 从normal distribution（正态分布）中sample出一些点： generator需要update它的参数，使得它output产生的image能被discriminator误认为它是realistic。 再update discriminator，使得之前被它判断出来是realistic的image重新判断为fake。 不断更...
【更新于12.29】深度学习论文汇总
热门推荐
迷川浩浩的博客
04-07 1万+
本博客用于记录自己平时收集的一些不错的深度学习论文，近9成的文章都是引用量3位数以上的论文，剩下少部分来自个人喜好，本博客将伴随着我的研究生涯长期更新，如有错误或者推荐文章烦请私信。深度学习书籍和入门资源 LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444. [PDF]（深度学习最权威的综述）
Generative Adversarial Nets[Improved GAN]
weixin_30672019的博客
01-19 156
0.背景 Tim Salimans等人认为之前的GANs虽然可以生成很好的样本，然而训练GAN本质是找到一个基于连续的，高维参数空间上的非凸游戏上的纳什平衡。然而不幸的是，寻找纳什平衡是一个十分困难的问题。在现有的针对特定场景算法中，GAN的实现通常是使用梯度下降的方法去训练GAN网络的目标函数，意在找到lost函数最低值而已，而不是真的找零和游戏中的纳什平衡。且目标函数本身是非凸函数，其中是连...
GAN的一些技巧
weixin_39272255的博客
12-17 297
GAN的技巧： 1.对真实图片进行归一化，与生成图片分布一样，也就是[-1,1]. 2.随机噪声使用高斯分布，不要使用均匀分布，也就是在代码中使用torch.randn，而不是torch.rand 3.初始化权重很有必要，详细见model.py中的weight_init函数 4.在训练时，在鉴别器中产生的noise，生成器也要用这个noise进行参数，这点很重要。我最开始的时候就是鉴别器随机产生n...
李宏毅 机器学习 课程作业代码
08-17
李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码
improved_CcGAN:用于图像生成的连续条件生成对抗网络
03-10
连续条件生成对抗网络 该存储库提供了我们针对CcGAN的论文中的实验源代码。 如果您使用此代码，请引用 @inproceedings{ ding2021ccgan, title={Cc{GAN}: Continuous Conditional Generative Adversarial Networks for Image Generation}, author={Xin Ding and Yongwei Wang and Zuheng Xu and William J Welch and Z. Jane Wang}, booktitle={International Conference on Learning Representations}, year={2021}, url={https://openrevi
improved GAN Part1
sinat_32043495的博客
11-28 903
1.F-divergence:衡量P和Q有多不一样 内容有函数f要满足的条件:为什么可以满足f(1)=0、为什么可以满足Df的最小值是0（f是凸函数的条件） 举例，有哪些函数可以作为F-divergence KL divergence就是一种F-divergence 2.Fenchel Conjugate 每一个f都有一个和它配对的f* f*到底是在做什么
提升对抗神经网络GAN的表现的方法（GAN — Ways to improve GAN performance）
彩虹糖的博客
01-15 2125
最近一直在琢磨Generative Adversarial Imitation Learning这篇文章的内容和实现，也自己实现了几个GAN，但是效果都不是很理想，因此找到了一篇专门讲提升GAN表现的文章，用几个小时的时间把这篇文章翻译一下。 原文链接：GAN — Ways to improve GAN performance 相较于其他的神经网络，GAN在下面几个方面遇到的问题更为严重...
探索未来生成模型：Improved-GAN深度解析与应用
gitblog_00007的博客
03-23 850
探索未来生成模型：Improved-GAN深度解析与应用 项目地址:https://gitcode.com/openai/improved-gan 该项目[链接]由OpenAI团队提出并维护，名为"Improved Generative Adversarial Networks"（Improved-GAN），它是一个针对深度学习领域中生成对抗网络（GAN）的改进和优化框架。GA...
机器学习-39-GAN-06-Tips for Improving GAN(改善GAN的技巧：WGAN,WGAN-GP,EBGAN,LSGAN)
迷雾总会解
01-15 726
这篇文章要说的是对传统的GAN进行的一些优化，为了使GAN更容易训练。比如WGAN，它在原始的GAN上面做了几点改动，成功地提升了原始GAN的表现。还有WGAN-GP，EBGAN和LSGAN。
从传统GAN到improved WGAN
omnispace的博客
09-02 4189
最近做了一个从传统GAN到improved WGAN的报告，把PPT贴上来吧，有需要的小伙伴可以参考一下。论文主要涉及到17年的三篇文章： Arjovsky M, Bottou L. Towards Principled Methods for Training Generative Adversarial Networks[J]. 2017.Arjovsky M, Chintala S, Bot
GAN 生成对抗网络 10-6 Tips for improving GAN
m0_45868903的博客
09-07 122
在二分类问题中，使用JS散度是不合适的，因为图像的性质，PG和Pdata是不可能重叠的，不重叠的情况下计算出的JS散度永远是log2，所以上图中第一个图和第二个图没有区别，因此在二分类问题中会出现训练困难的问题。 tips1 LSGAN 问题：绿色点为real data，蓝色点为generated data。可能会出现一个状况，如果二分类器训练的太好（即蓝色为0，绿色为1），使用sigmoid函数进行训练会出现训练困难的问题，因为在0处梯度几乎为0。这样generator想把蓝色的点往右移发现会移不动..
李宏毅教授讲解GAN：生成对抗网络基础与应用
"这篇资源是关于台湾大学李宏毅教授的GAN（生成对抗网络）课程，涵盖了GAN的基础理论和实际应用。课程中提到了受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）以及吉布斯采样（Gibbs Sampling），并且提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值