WGAN 筆記

最新推荐文章于 2024-04-10 09:30:00 发布
最新推荐文章于 2024-04-10 09:30:00 发布
阅读量163 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gky_1111/article/details/118424258
版权
本文探讨了Wasserstein GAN（WGAN）的背景和问题，指出传统GAN在样本拟合和稳定性上的局限性。文章目标是寻找稳定且连续的分布差异衡量方法，通过对比EM距离和JS散度，强调了WGAN如何避免梯度消失问题。解决方法包括权重约束和优化器选择，以提高模型训练效果。
摘要由CSDN通过智能技术生成

WGAN

现有研究

样本拟合

关于拟合一个样本分布的传统方法是使用另一个概率分布去对其进行拟合，即使用两个分布的KL散度作为损失函数，以此为目标对其不断进行优化。

局限：现实场景下，KL散度不一定存在，在GAN文章中说明了过度依赖KL逆散度会出现模型坍塌的问题。

传统的生成方法认为：利用加入高斯噪声的方法能够cover所有的case。

局限：高斯噪声会降低图像的质量

GAN定义了一个变量z和一个生成函数G（神经网络模型），通过不断优化G的参数 θ \theta θ，使模型能够产生服从于现分布的样本。

局限：不稳定：模型坍塌；不鲁棒：如果设置的参数过大或者过小都会影响性能并且当判别器越来越强的时候，GAN的损失函数就会变成( P r   和   s p a c e P g P_r \space 和\ spaceP_g P

最低0.47元/天 解锁文章
一只高空猿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
js-divergence的pytorch实现
Welcome to BierOne's blog!
03-20 7905
文章目录参考文档JSD实现代码一些注意事项 参考文档 pytorch 中的 kl_div 函数 关于logsoftmax与softmax的区别 KL散度、JS散度、Wasserstein距离–原理 JSD实现代码 若有纰漏，敬请指出，感谢！ def js_div(p_logits, q_logits, get_softmax=True): """ Function that m...
为什么使用交叉熵代替二次代价函数_交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）...
weixin_39764379的博客
11-22 530
目录：信息量熵相对熵（KL散度）交叉熵JS散度推土机理论Wasserstein距离WGAN中对JS散度，KL散度和推土机距离的描述写在前面的总结：1、目前分类损失函数为何多用交叉熵，而不是KL散度。首先损失函数的功能是通过样本来计算模型分布与目标分布间的差异，在分布差异计算中，KL散度是最合适的。但在实际中，某一事件的标签是已知不变的（例如我们设置猫的label为1，那么所有关于猫的样本都要标记为...
深度学习之常见损失函数(详细讲解定义、数学公式、实现代码)
最新发布
a910247的博客
04-10 9993
损失函数在机器学习和深度学习的领域中占据着核心地位，它是连接模型预测与实际结果之间的桥梁，为模型的优化提供了明确的方向。损失函数是一个量化模型预测错误的数学工具。在模型训练的过程中，损失函数用于计算模型预测的输出与实际标签之间的差异。这个差异值，即损失值，能够直观地反映出模型在当前参数下的性能。通过最小化这个损失值，我们可以驱使模型不断学习和改进，直至达到满意的预测精度。损失函数的选择取决于具体的任务和数据类型。对于回归问题，常用的损失函数有均方误差（MSE）和平均绝对误差（MAE）。
GAN的理论基础之KL散度与JS散度
yuanfang_hi的博客
01-23 4790
在介绍KL散度和JS散度之前，我们需要了解什么是信息熵，什么是交叉熵。 香农信息量、信息熵 香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 当对数的底数为2时，香农信息量的单位为比特 香农信息量描述的是随机变量在某一点...
香浓信息量，信息熵，交叉熵，相对熵（KL散度），JS散度，条件熵，信息增益，互信息
zz2230633069的博客
03-04 1738
香浓信息量：用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 计算公式：，但是在深度学习中一般使用的是自然对数 其中：如果是连续型随机变量的情况，设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，如果是离散分布，那么p(x)为随机变量X在X=x处的概率值 特点：因为p(x)是0-1的值，所以香浓信息量大小总是大于0比特 信息熵：用于刻画消除随机变量...
improved_wgan_wgan_
09-29
标题中的"improved_wgan_wgan_"暗示了这是一个关于改进版 Wasserstein GAN（Wasserstein Generative Adversarial Network，简称WGAN）的项目。WGAN是一种深度学习中的生成模型，它通过优化生成器和判别器之间的 ...
WGAN介绍ppt
10-07
生成式对抗网络，搜集整理了网上关于GAN ,WGAN,汇总详解了WGAN-GP
生成对抗网络wgan.py
05-24
生成对抗网络中WGAN的代码，WGAN彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度 基本解决了collapse mode的问题，确保了生成样本的多样性 训练过程中终于有一个像交叉熵、准确率这样的数值...
生成对抗网络wgan_gp.py
05-24
WGAN-GP纯粹是为了满足WGAN中的李普西斯条件，WGAN自己的满足方式是gradient clipping，但是这样的话WGAN的大部分weight会是正负0.01，需要新的满足李普西斯条件的方法，这就是motivation；
GAN、WGAN、WGAN-GP5.docx
06-15
生成对抗网络（GAN）和其变种（WGAN、WGAN-GP）基于PyTorch实现和实验报告 生成对抗网络（GAN）是一种深度学习模型，通过生成和判别两个网络模块，相互竞争和学习，生成逼真的数据。GAN由Goodfellow等人在2014年...
交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）
weixin_NineDays66
08-01 3389
https://zhuanlan.zhihu.com/p/74075915 目录： 信息量 熵 相对熵（KL散度） 交叉熵 JS散度 推土机理论 Wasserstein距离 WGAN中对JS散度，KL散度和推土机距离的描述 写在前面的总结： 1、目前分类损失函数为何多用交叉熵，而不是KL散度。 首先损失函数的功能是通过样本来计算模型分布与目标分布间的差异，在分布差异计算中，K...
JS散度
weixinhum
12-23 1万+
前面我们介绍了相对熵（KL散度）的概念，知道了它可以用来表示两个概率分布之间的差异，但有个不大好的地方是它并不是对称的，因此有时用它来训练神经网络会有顺序不同造成不一样的训练结果的情况（其实个人觉得也就是训练时间差异罢了，也没那么严重）。为了克服这个问题，有人就提出了一个新的衡量公式，叫做JSJSJS散度，式子如下： JS(P1∥P2)=12KL(P1∥P1+P22)+12KL(P2∥P1+P22...
理解JS散度(Jensen–Shannon divergence)
weixin_44441131的博客
05-01 7万+
文章目录1.KL散度1.1 KL散度的性质1.2 KL散度的问题即JS散度的引出2. JS散度为什么会出现两个分布没有重叠的现象参考文献 1.KL散度 用来衡量两个分布之间的差异，等于一个交叉熵减去一个信息熵（交叉熵损失函数的由来） 1.1 KL散度的性质 非负性（用Jenson‘s inequality 证明） 不对称性，即KL(P||Q)≠KL(Q||P) 1.2 KL散度的问题即J...
损失函数（loss function）
EmilyHoward的博客
06-30 1万+
这里写目录标题1、什么是损失函数2、为什么要使用损失函数3、损失函数分类1、分类一2、分类二3、分类三3.1基于距离度量的损失函数3.1.1 均方误差损失函数（MSE）3.1.2 L2损失函数3.1.3 L1损失函数3.1.4 Smooth L1损失函数3.1.5 huber损失函数3.2 基于概率分布度量的损失函数3.2.1 KL散度函数（相对熵）3.2.2 交叉熵损失3.2.3 softmax损失函数3.2.4 Focal loss4. 如何选择损失函数？ 1、什么是损失函数 损失函数用来评价模型的预测
熵、交叉熵、KL散度、损失函数
iterate7的博客
04-25 1万+
信息量 一个事件x的信息量是： I(x)=−log(p(x))I(x)=−log(p(x)) I(x)=-log(p(x)) 解读：如果一个事件发生的概率越大，那么信息量就越小。如果是1，也就是100%发生，那么信息量为0。 熵 就是对信息量求期望值。 H(X)=E[I(x)]=−∑x∈Xp(x)logp(x)H(X)=E[I(x)]=−∑x∈Xp(x)log⁡p(x) H(X...
深度学习中常用的损失函数
南淮北安的博客
10-22 5318
文章目录一、什么是损失函数？二、分类任务损失1、0-1 loss2、熵与交叉熵loss3、softmax loss及其变种4、KL散度5、Hinge loss6、Exponential loss与Logistic loss三、回归任务损失1、L1 loss2、L2 loss3、L1 loss与L2 loss的改进4、perceptual loss四、生成对抗网络损失1、GAN的基本损失2、-log...
KL散度、JS散度 的理解以及一些问题
weixin_44177594的博客
04-01 3456
散度KL散度定义特性公式离散连续机器学习JS散度出现的原因公式特性问题交叉熵（Cross Entropy）定义公式和KL散度的关系 KL散度 定义 KL(Kullback-Leibler divergence)散度用来描述两个概率分布P和Q的差异的一种方法，也叫做相对熵(relative entropy)。 特性 1.KL具有非对称性，即D(P||Q) ≠ D(Q||P)。 2.非负性：因为对数函数是凸函数，所以 KL散度的值为非负数。 3.KL散度不满足三角不等式: KL(A,B) > KL(A,C
损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系
sjyttkl的专栏
01-13 1170
cross_entropy-----交叉熵是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。 在介绍softmax_cross_entropy，binary_cross_entropy、sigmoid_cross_entropy之前，先来回顾一下信息量、熵、交叉熵等基本概念。 --------------------- 信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，...
损失函数loss大总结
热门推荐
年轻即出发，
06-23 11万+
分类任务loss: 二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口： tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...
WGAN matlab
09-19
WGAN（Wasserstein GAN）是一种生成对抗网络的变体，旨在改善传统GAN的训练稳定性和生成样本质量。WGAN使用了一个名为Wasserstein距离的新的损失函数，它对生成器和判别器之间的距离进行度量，从而更准确地衡量生成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值