wgan 不理解 损失函数_关于WGAN-GP中的遗留问题？

最新推荐文章于 2023-03-27 23:52:13 发布
最新推荐文章于 2023-03-27 23:52:13 发布
阅读量665 收藏
点赞数
文章标签： wgan 不理解 损失函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28312391/article/details/112867476
版权

胡今朝：关于WGAN-GP的理解​zhuanlan.zhihu.com

上一篇文章中从intuitional的角度理解了WGAN-GP，基本上已经可以了,除了一个遗留问题

Review一下GAN

GAN本身用的是JS散度作为损失函数，当判别器最优的时候

WGAN用的是在Wassertein distance的基础上修改的损失函数，需要D需要是满足李普西斯条件的的函数，在WGAN中用的是gradient clipping

因为WGAN中的D的参数都集中在了+-0.01上，所以WGAN-GP中改进了满足李普西斯条件的约束，改成了：

什么意思？对参数加了惩罚，什么是加了惩罚上一篇有详细的比较intuitional的解释，都ok都能理解，唯一不能理解的东西是

怎么理解？举个例子看看

比如我取(不好打出来上面公式的notation，讲究着看)

x = [1,2,3]

x~=[4,5,6]

ℇ=1/3

x^=[1/3,2/3,3/3]+[8/3,10/3,12/3]=[3,4,5]

好，这个x^经过一个网络D

3*w1 + 4*w2 +5*w3

如果是x经过网络D

1*w1 + 2*w2 +3*w3

D对x偏导了之后确实就是w ，对x求偏导数就是将x看作变量&#

最低0.47元/天 解锁文章
我想买大G
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CVAE-GAN-zoos-PyTorch-Beginner:对于初学者来说，这将是VAE，GAN和CVAE-GAN的最佳起点。其中包含AE，DAE，VAE，GAN，CGAN，DCGAN，WGAN，WGAN-GP，VAE-GAN，CVAE-GAN。都使用PyTorch
03-20
CVAE-GAN-ZOOS-PyTorch-初学者 首先先感谢给小透明点赞的几个朋友。 中文讲解： 如果你是第一次接触AE自编码器和GAN生成对抗网络，那这将会是一个非常有用且效率的学习资源。所有的内容使用PyTorch编写，编写格式清晰，非常适合PyTorch新手作为学习资源。本项目的所有模型当前都是基于MNIST数据库进行图片生成。MNIST数据集是一个比较小，一个光CPU可以运行起来的小数据库。新人友好数据库。 本项目包含以下模型：AE（自编码器），DAE（降噪自编码器），VAE（变分自编码器），GAN（对抗生成网络），CGAN（条件对抗生成网络），DCGAN（深度）卷积对抗生成网络），WGAN（Wasserstain对抗生成网络），WGAN-GP（基于渐变惩罚的WGAN），VAE-GAN（变分自编码对抗生成网络），CVAE-GAN（条件变分自编码对抗生成）网络）PS：部分英文翻译的
[生成对抗网络GAN入门指南]（6）WassersteinGAN-GP
gdtop的个人笔记
02-12 5402
本篇blog的内容基于原始论文WassersteinGAN-GP(NIPs2017)和《生成对抗网络入门指南》第五章。 一、权重裁剪的问题（为什么要改进GP）        WGAN理论中前提条件是1-Liposchitz条件，而对应使用的方法是权重剪裁，希望把网络固定在一个大小范围内。        但是后来发现权重剪裁有许多问题，所以改进WGAN-GP，使用一种叫做梯度惩罚（gradie...
生成对抗网络(四)-----------WGAN-GP
励志的小胡子
05-16 6478
一、WGAN的分析 从我们WGAN的实现结果来看，WGAN可以很好的生成图像。因此，我们来分析一下W距离和生成图像之间的关系。理论上距离越近，图像生成质量越高。就说明WGAN的效果很好。在WGAN的论文式样中对三种架构进行了实验。第一种是生成器采用普通的感知机。第二组是生成器采用标准的DCGAN。第三组是生成器和判别器都采用MLP。实验结果如下图： 从第一和第二组实验中可以看出，随着W的距...
WGAN原理
love_image_xie的博客
12-15 3137
第一部分：原始GAN问题详细讨论 第二部分：WGAN原理 第一部分： 对于判别器，GAN最小化如下损失函数： 其中，Pr表示真实样本分布，Pg表示生成器产生的样本分布。 对于生成器，有两个损失函数：         第一种损失函数存在的问题是当判别器最优时，生成器损失函数相当于最小化JS散度，即判别器越优，最小化生成器的loss就越接近于最小化Pr和Pg之间的JS散度。但是问题...
【笔记】Wgan-Gp：重点关注判别器损失
nyist_yangguang的博客
11-28 2456
问题：有人训练的wgan-gp，判别器器损很高，但是生成器的损失函数为0，是否代表生成器效果太好？ 个人遇到的问题：生成器逐渐升高，不收敛。但是判别器的loss收敛 回答：That’s not a problem, your charts look okay. The generator loss is actually meaningless by itself, since the critic’s loss is invariant to any constant o...
WGAN-GP.rar
03-09
然而，WGAN的训练依然可能不稳定，于是出现了WGAN-GP，通过添加梯度惩罚项，确保了生成器和判别器的权重空间之间的梯度不超过1，从而增加了训练的稳定性。 在PyTorch框架下实现WGAN-GP，我们需要定义生成器和判别器...
wgan_wgan代码_wgan源代码_wgan网络代码_wgan_wgan生成_
09-30
传统GAN在训练过程中存在模式塌陷和不稳定的问题，而WGAN通过引入Wasserstein距离作为损失函数，解决了这些问题，使得模型的训练更加稳定，并且能够更好地评估生成器与真实数据分布之间的差距。 在WGAN中，主要的...
DCGAN-LSGAN-WGAN-GP-DRAGAN-Tensorflow-2：DCGAN LSGAN WGAN-GP DRAGAN Tensorflow 2
02-06
建议 ... WGAN-GP 德拉甘 名人 DCGAN LSGAN WGAN-GP 德拉甘 日本动漫 WGAN-GP 德拉甘 用法 环境 Python 3.6 TensorFlow 2.2，TensorFlow插件0.10.0 OpenCV，scikit映像，tqdm，oyaml 我们建议
GAN、WGAN、WGAN-GP5.docx
06-15
生成对抗网络（GAN）和其变种（WGAN、WGAN-GP）基于PyTorch实现和实验报告 生成对抗网络（GAN）是一种深度学习模型，通过生成和判别两个网络模块，相互竞争和学习，生成逼真的数据。GAN由Goodfellow等人在2014年...
pytorch-wgan:DCGAN，WGAN-CP，WGAN-GP的Pytorch实现
05-04
DCGAN（深度卷积GAN） WGAN-CP（使用重量修剪的Wasserstein GAN） WGAN-GP（使用梯度罚分的Wasserstein GAN）依存关系突出的软件包是： 麻木scikit学习张量流2.0 pytorch 1.6.0 火炬视觉0.7.0 要快速轻松地安装所有...
ESG-WGANGP：使用条件惩罚性Wasserstein生成对抗性网络和梯度惩罚来生成情感言语
02-15
ESG工作组 03章三法与程序 01-SelectedDataset / 01-AudioFeatures 01-SelectedDataset / 02-AudioPreprocessing 01-audio-raw.wav： ：//sayedqasim.github.io/ESG-WGANGP/03-ChapterThree-MethodsAndProcedures/01-SelectedDataset/02-AudioPreprocessing/01-audio-raw.wav 01-audio-raw-approximated.wav： ： 02-audio-trimmed.wav： ：//sayedqasim.github.io/ESG-WGANGP/03-ChapterThree-MethodsAndProcedures/01-SelectedDataset/
WGAN-GPppt详解
07-10
生成式对抗网络，搜集整理了网上关于GAN ,WGAN,汇总详解了WGAN-GP
生成模型--损失函数改进之WGAN系列
wydbyxr的博客
10-26 9917
WGAN系列   1）WGAN 就是在 GAN 的基础上改进的比较成功的一种。WGAN 利用 Wasserstein 距离代替 JS 距离，从而避免了一定的梯度消失问题，这也为很多 GAN 模型的扩展提供了指导。   2）WGAN-GP 是在 WGAN 的基础上改进的，WGAN 在保证 Lipschitz 限制条件时，作者是采用将限制判别器神经网络的所有参数（这里指权重 w）不超过某个范围 [-c...
yolo-mask的损失函数l包含三部分_【AI初识境】深度学习中常用的损失函数有哪些？...
weixin_39788792的博客
11-23 658
这是专栏《AI初识境》的第11篇文章。所谓初识，就是对相关技术有基本了解，掌握了基本的使用方法。今天来说说深度学习中常见的损失函数(loss)，覆盖分类，回归任务以及生成对抗网络，有了目标才能去优化一个模型。作者&编辑 | 言有三 1 什么是损失函数在机器学习中，损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度，损失函数越小，一般就代表...
wgan 不理解 损失函数_关于WGAN-GP的理解
weixin_39707168的博客
12-21 1067
关于原始GAN的理解网上的野生博客漫天飞，从GAN到WGAN都还好，非常能起到导学的作用，但是到了WGAN-GP这篇paper了有点儿云遮雾绕，绕了一大圈还是要自己慢慢啃，在谷歌上搜了一下WGAN-GP，也在quora上提问了一下算是有个大概了！reference：https://medium.com/@jonathan_hui/gan-wasserstein-gan-wgan-gp-6a1a2a...
WGAN与WGAN-GP学习笔记
jackzhang11的博客
05-22 4367
原始GAN存在训练不稳定的情况，主要原因是JS散度的选取不太合理。我们的目标是通过神经网络的学习，不断地让生成分布 PgP_{g}Pg​ 不断接近真实分布 PrP_{r}Pr​。但是当使用JS散度作为两个分布之间的距离的度量时，如果两个分布之间没有重叠，或重叠部分可忽略，则JS散度的计算值始终为log2，即失去了指导 PgP_{g}Pg​ 向 PrP_{r}Pr​ 靠拢的梯度。与此同时，PgP_{...
深度卷积对抗神经网络 基础 第三部分 (WGAN-GP）
Delay_coder的博客
01-24 1415
比如说，**模式奔溃**，指的是生成器的学习效率远高于辨别器的时候，那么学习一段时间过后，辨别器便无法再继续提供有用的损失信息，以至于生成器无法得到参考而塌陷到一个局部最小点中去。而**梯度消失**指的是当损失趋于无限大或者无限小时，损失函数的值变化基本可以视为忽略，那么梯度就会消失，进而停止学习或者学习效率基本为零。
WGAN-GP方法介绍
热门推荐
子燕若水的博客
06-23 1万+
原文标题：Improved Training of Wasserstein GANs 原文链接：[1704.00028] Improved Training of Wasserstein GANs 背景介绍 训练不稳定是GAN常见的一个问题。虽然WGAN在稳定训练方面有了比较好的进步，但是有时也只能生成较差的样本，并且有时候也比较难收敛。原因在于：WGAN采用了权重修剪（weight clipping）策略来强行满足critic上的Lipschitz约束，这将导致训练过程产生一些不希望的行为。本文提出
WGAN-GP解读分析
weixin_46238823的博客
03-27 5358
WGAN-GP（Wasserstein GAN with gradient penalty）相比GAN（Generative Adversarial Network）有以下几个优点：更好的损失函数：WGAN-GP使用了Wasserstein距离来度量生成器和判别器之间的距离，相比于GAN中使用的交叉熵损失函数，Wasserstein距离更加稳定，可以避免GAN中出现的训练不稳定和模式崩溃等问题。
wgan-gp损失函数
最新发布
05-18
WGAN-GP（Wasserstein GAN with Gradient Penalty）是GAN（Generative Adversarial Network）的一种改进版本，旨在解决GAN中训练不稳定的问题。WGAN-GP中的损失函数采用了Wasserstein距离，而不是原始GAN中的交叉熵损失函数。Wasserstein距离可以更好地衡量生成器输出分布与真实数据分布之间的差异，从而更好地指导模型的训练。 WGAN-GP的损失函数包括两部分：生成器损失和判别器损失。其中，生成器损失是生成器输出与真实数据之间的Wasserstein距离，判别器损失则包括两部分：真实样本与生成样本之间的Wasserstein距离以及梯度惩罚项。具体来说，WGAN-GP的损失函数可以表示为： $$L_{WGAN-GP}(D,G)=\underset{x\sim P_r}{E}[D(x)]-\underset{x\sim P_g}{E}[D(x)]+\lambda\underset{\hat{x}\sim P_{\hat{x}}}{E}[(||\nabla_{\hat{x}}D(\hat{x})||_2-1)^2]$$ 其中，$D$表示判别器，$G$表示生成器，$P_r$表示真实数据分布，$P_g$表示生成器输出分布，$\hat{x}$表示真实样本和生成样本之间的线性插值点，$\lambda$为梯度惩罚系数。通过最小化这个损失函数，可以使生成器输出分布逐渐接近真实数据分布，从而得到更好的生成效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值