对GAN\WGAN\WGAN-GP进行一段话总结

最新推荐文章于 2022-10-21 18:55:25 发布
最新推荐文章于 2022-10-21 18:55:25 发布
阅读量651 收藏
点赞数
文章标签： python 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FIONASENIOR/article/details/123669862
版权


总结：


GAN网络由两部分组成：生成模型和判别模型

生成模型就是输入噪点，输出逼真的样本
判别模型为二分类器，判断真假

更新判别模型的参数（损失函数带有log）：在Discriminator中真是样本与1的loss+在D中虚假样本与0的loss
然后更新生成模型的参数（损失函数带有log）：在D中fake与1的loss

WGAN网络就是更改了GAN的loss函数， 将loss函数中的log去掉了，并且把+改成了-
WGAN中的鉴别器（D判别模型）也称为评论家
WGAN删除了鉴别器的输出中sigmoid的激活函数，需要1-Lipschitz进行约束，需要将评论家的权重降到很小的值（-0.01~0.01）--------方法：直接进行权重裁剪

WGAN-GP就是把权重裁剪的办法 改成 在loss后面加一个惩罚项，也叫梯度惩罚：L2正则化-1 之类的处理。 并且删去了 1.权重裁剪 2. 评论家中的批标准化（批规范化）

-FIONASENIOR！！PEI
关注
GAN：WGAN-GP-带有梯度惩罚的WGAN
微风❤水墨
12-01 3189
WGAN-GP中移除了判别器中的BN操作： 因为WGAN-gp的惩罚项计算中，惩罚的是单个数据的gradient norm，如果使用 batchNorm，就会扰乱这种惩罚，让这种特别的惩罚失效。所以只有设置的不大不小，比如c=0.01（wgan作者推荐的数值），下图中的紫色线，梯度保持相对合理，才能让生成器获得不错的回传梯度。公式在下面， 里面表达的是它在WGAN的loss上加了一个惩罚项，如果判别器的 gradient 的 norm，离 1 越远，那么 loss 的惩罚力度越高。作者发现移除后效果很好。
GAN生成对抗网络合集（四）：wGAN及wGAN-gp（附代码）
热门推荐
dexterod的博客
06-02 1万+
1 原始GAN存在问题        实际训练中，GAN存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。这与GAN的机制有关。        GAN最终达到对抗的纳什均衡只是一个理想状态，而现实情况中得到的结果都是中间状态（伪平衡）。大部分的情况是，随着训练的次数越多判别器D的效果越好，会导致一直可以将生成器G的输出与真实样本区分开。
GAN-DCGAN-LSGAN-WGAN-WGANGP-DRAGAN:GAN及其扩展
04-04
GAN-DCGAN-LSGAN-WGAN-WGANGP-DRAGAN GAN及其扩展名Tensorflow版本：2.1.0
从GAN到WGAN及WGAN-GP
围城
09-11 1571
20200910 - 0. 引言 最近看了PassGAN的代码，他是使用了WGAN-GP的代码作为GAN的框架，来进行密码生成，由此引出了对GAN的学习。在GAN的研究中，有一个方向就是研究如何使GAN更加稳定的训练。在此之中，WGAN和WGAN-GP算是比较好的解决方案。 为了弄明白这些东西，也是花费了很长时间，主要是因为这部分都是数学公式的内容，而我这种半吊子也不是搞数学的，也不是专门搞人工智能的，就顺着他们的思路弄明白是怎么回事就好了，对于数学原理还是看看就好了。 本篇文章主要是参考了几篇文章，然后结
GAN,WGAN,WGAN-GP 通俗易懂的原理解释
a571625338的博客
10-15 1557
GAN,WGAN,WGAN-GP 通俗易懂的原理解释
【深度学习】生成对抗网络GAN｜GAN、WGAN、WGAN-UP、CGAN、CycleGAN、DCGAN
m0_52427832的博客
10-21 2938
生成对抗网络由两个部分组成：生成器（Generator）和判别器（Distriminator） * 生成器：生成一个真实数据类似的数据分布（伪造数据） * 判别器：判断生成器生成的图片是真的还是假的（鉴别数据），类似于一个二分类器 在生成对抗模型框架中，有两个模型一个是生成模型G，一个判别模型D。生成器G根据隐含信息来随机生成观测数据，判别器D判别生成器生成的数据是真还是假。当判别器D判断生成器G生成了假数据后给生成器G一个惩罚，这导致生成器G被迫向“不受到”判别器D惩罚的方向进化学习，二者就构成了一个动态
WGAN-GPppt详解
07-10
生成式对抗网络，搜集整理了网上关于GAN ,WGAN,汇总详解了WGAN-GP
GAN、WGAN、WGAN-GP5.docx
06-15
在本实验报告中，我们基于PyTorch框架，实现了GAN、WGAN和WGAN-GP三种生成对抗网络模型，并对其稳定性和性能进行了实验比较。 GAN（Generative Adversarial Networks）是生成对抗网络的基本模型，由生成网络...
GAN、WGAN、WGAN-GP.rar
06-15
基于PyTorch实现生成对抗网络 拟合给定分布 要求可视化训练过程 实验报告 对比GAN、WGAN、WGAN-GP（稳定性、性能） 对比不同优化器的影响
DCGAN-LSGAN-WGAN-GP-DRAGAN-Tensorflow-2：DCGAN LSGAN WGAN-GP DRAGAN Tensorflow 2
02-06
建议 ... WGAN-GP 德拉甘 名人 DCGAN LSGAN WGAN-GP 德拉甘 日本动漫 WGAN-GP 德拉甘 用法 环境 Python 3.6 TensorFlow 2.2，TensorFlow插件0.10.0 OpenCV，scikit映像，tqdm，oyaml 我们建议
WGAN学习和总结
csdn_elsa的博客
12-27 1564
参考： 令人拍案叫绝的Wasserstein GAN https://www.leiphone.com/news/201702/EU12GVIe2pNGtgEk.html?viewType=weixin Wasserstein距离 和 Lipschitz连续 https://www.cnblogs.com/wt869054461/p/7155777.html WGAN最新进展：从weight cl...
[GAN学习笔记] 基础GAN（三）——WGAN
m0_55905751的博客
03-05 1320
【笔记】Wgan-Gp 判别器损失：损失为正值或者负值均可，表示的真数据和假数据的相对分布位置，收敛到0为目标；优化器使用Adam，并没有使用默认参数；Wgan使用RMSProp做优化
nyist_yangguang的博客
11-28 4284
附加：WGAN Wgan-Gp:
WGAN为什么需要剪枝操作（裁剪权值）
qq_23946481的博客
09-17 969
关于WGAN WGAN可以说是对GAN的不稳定性提出了一个非常好的解决方案，其损失函数是由w距离演变而来的，证明过程非常牛皮，然而最后用的损失函数却异常简洁，真是牛皮。 损失函数那一块都能看懂，只是不懂为什么要对权值进行裁剪，最近看明白了赶紧记录下来。 内容取自：从零直达 WGAN-GP 为什么需要裁剪权值 首先我们知道wgan是想让生成图片和真实图片的距离越小越好，而这个在鉴别器的损失函数定义中...
WGAN-GP：进阶的WGAN
张先生－您好的博客
11-24 4666
WGAN-GP 前言 ​ 　　从GAN到WGAN，我们通过使用新的距离（推土机距离）来衡量PgP_gPg​和PrP_rPr​的到底有多接近，并且使用了权重裁剪来使得我们的生成器满足约束，但是作者也在论文中提到了这是一种暴力的手段，在现实的实验过程中，我们也发现Critic的权重会逐渐向裁剪因子靠拢，出现两极化的现象（如下图 c = 0.01），然而本身ccc的取值很难有一个界定，我们必须不断地调...
WGAN解读（一）
qq_38883271的博客
05-13 3827
WGAN全称Wasserstein GAN，重点以及和DCGAN的不同之处在于Wasserstein，Wasserstein是个啥呢？网上有很多很棒的解答，这里直接送上传送门KL散度、JS散度、Wasserstein距离 WGAN的作者选择Wasserstein距离来度量真实图像分布和生成图像分布之间的距离，目标即为最小化该距离。尽管Wasserstein距离从公式的形式上来看比较复杂难懂，但是结合代码实现来看其实非常简单。 官方GitHub给出的代码如下： loss_D = -torch.mean(dis
生成模型--损失函数改进之WGAN系列
wydbyxr的博客
10-26 1万+
WGAN系列   1）WGAN 就是在 GAN 的基础上改进的比较成功的一种。WGAN 利用 Wasserstein 距离代替 JS 距离，从而避免了一定的梯度消失问题，这也为很多 GAN 模型的扩展提供了指导。   2）WGAN-GP 是在 WGAN 的基础上改进的，WGAN 在保证 Lipschitz 限制条件时，作者是采用将限制判别器神经网络的所有参数（这里指权重 w）不超过某个范围 [-c...
深度学习（五十四）图片翻译WGAN实验测试
hjimce的专栏
03-04 7529
WGAN相比于GAN的优点在于：具有更高的稳定性。在原始的WGAN中，作者通过一堆的理论，提出了WGAN，理论证明n多页，不过代码实现就两行：(1)去掉了判别网络的判别的概念，在原始的GAN中，判别网络的损失函数为最大化交叉熵损失函数：也就是说判别网络的输出是一个0~1的概率值，用于表示图片真伪的概率。然而在WGANs中，fw的输出不需要是一个概率值，这就是为什么作者不把fw称之为判别器的原因，而
深度学习之生成对抗网络（8）WGAN-GP实战
weixin_43360025的博客
10-14 2288
深度学习之生成对抗网络（8）WGAN-GP实战代码修改完整代码WGANWGAN_train 代码修改  WGAN-GP模型可以在原来GAN代码实现的基础上仅做少量修改。WGAN-GP模型的判别器D的输出不再是样本类别的概率，输出不需要加Sigmoid激活函数。同时添加梯度惩罚项，实现如下： def gradient_penalty(discriminator, batch_x, fake_image): # 梯度惩罚项计算函数 batchsz = batch_x.shape[0]
GAN、WGAN、WGAN-GP三者的区别
最新发布
06-01
WGAN（Wasserstein GAN）是GAN的一种变体，它引入了Wasserstein距离作为损失函数，通过优化Wasserstein距离来训练生成器和判别器。 WGAN-GP（Wasserstein GAN with Gradient Penalty）在WGAN的基础上加入了梯度惩罚...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值