KL散度、JS散度、Wasserstein距离

最新推荐文章于 2024-10-09 21:51:40 发布
最新推荐文章于 2024-10-09 21:51:40 发布
阅读量889 收藏 4
点赞数 1
分类专栏： 统计学 文章标签： KL散度 JS散度 Wasserstein距离 分布相似
原文链接：https://zxth93.github.io/2017/09/27/KL散度JS散度Wasserstein距离/
版权

目录

                  1. KL散度

2. JS散度(Jensen-Shannon)

3. Wasserstein距离

1. KL散度

KL散度又称为相对熵，信息散度，信息增益。KL散度是是两个概率分布 P 和 Q  之间差别的非对称性的度量。 KL散度是用来 度量使用基于 Q 的编码来编码来自 PP 的样本平均所需的额外的位元数。 典型情况下，P 表示数据的真实分布，Q 表示数据的理论分布，模型分布，或 P 的近似分布。 

定义如下：

因为对数函数是凸函数，所以KL散度的值为非负数。

有时会将KL散度称为KL距离，但它并不满足距离的性质：

  1. KL散度不是对称的，即 
  2. KL散度不满足三角不等式。

2. JS散度(Jensen-Shannon)

JS散度度量了两个概率分布的相似度，基于KL散度的变体，解决了KL散度非对称的问题。一般地，JS散度是对称的，其取值是 0 到 1 之间。定义如下：

KL散度和JS散度度量的时候有一个问题：

如果两个分布 P,Q 离得很远，完全没有重叠的时候，那么KL散度值是没有意义的，而JS散度值是一个常数。这在学习算法中是比较致命的，这就意味这这一点的梯度为 0。梯度消失了。

3. Wasserstein距离

Wasserstein距离度量两个概率分布之间的距离，定义如下：

　　

TanH.blog
关注
专栏目录
[机器学习] 信息熵、交叉熵、KL散度、JS散度、Wasserstein距离
心宝的博客
06-13 732
参考：https://blog.csdn.net/Dby_freedom/article/details/83374650 参考：https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5 什么是熵(Entropy)？ 信息熵 独立事件的信息量可叠加。 比如“a. 张三今天喝了阿萨姆红茶，b. 李四前天喝了英式早茶”的信息量就应该恰好等于a+b的信息量，如果张三李四喝什么茶是两个独立事件。 如何衡量两个事件/分布之间的不同（一）：KL散度 我们上
信息熵，KL散度，JS散度与Wasserstein距离----GAN到WGAN的进化之路
qq_45809323的博客
07-16 1302
因为生成器的初始参数是随机初始化的，所以它什么都没有学习到，输入一系列采样得到的向量给它，它的输出都是些随机、混乱的图片，然后我们根据真实的数据送入判别器与生成的数据做对比，我们把真正的图片标 1，生成器产生出来的图片都标 0。网络框架如下图所示。其实到这里我们不难看出，判别器的训练目标是看到真实数据就给它比较高的分数，看到生成的数据就给它比较低的分数，我们可以把它当做是一个优化问题，具体来说，我们要训练一个判别器，其可以最大化一个目标函数，当然如果我们最小化它就可以称它为。生成的事物是真实的还是生成的；
KL散度
热门推荐
caohao2008的专栏
10-27 1万+
KL散度，又称KL距离。 详情请见：http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence 下面是转载内容： =========================== KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。 根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一
Jensen-Shannon散度（JS散度）
最新发布
Python领域优质萌新学习笔记
10-09 1322
Jensen-Shannon散度是一种改进的、对称的概率分布相似性度量，能够有效克服KL散度的局限性。它具有非负性、对称性和有界性等良好性质，广泛应用于机器学习、自然语言处理、生物信息学和信息论等领域。JS散度的直观含义是通过比较两个分布与它们的中间分布的差异，来量化两个分布之间的相似性。
生成对抗网络（GANs）系列：KL散度和JS散度
nbxzkok的专栏
09-29 8232
1.香农信息量、信息熵和交叉熵 只考虑连续型随机变量的情况。设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为： 其中对数以2为底，这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件“中国足球进不了世界杯”不需要多少信息量（比如要不要多观察几场球赛的表现）就可以消除不确定性...
信息熵/交叉熵/KL散度/JS散度/Wasserstein距离
zhuazengbian9095的博客
05-26 314
参考: 强推：https://zhuanlan.zhihu.com/p/45131536 https://zhuanlan.zhihu.com/p/372835186 https://zhuanlan.zhihu.com/p/262876724 https://baijiahao.baidu.com/s?id=1666580334381729961&wfr=spider&for=pc 熵/信息熵： H=−∑p(x)log(p(x))H=-\sum p(x)log(p(x))H=−∑p(x)
KL散度与JS散度
qq_29053993的博客
10-23 1万+
KL散度与JS散度KL散度(Kullback-Leibler divergence)KL散度的计算公式KL散度的基本性质JS散度(Jensen-Shannon divergence)JS散度的数学公式不同于KL的主要两方面 KL散度(Kullback-Leibler divergence) 又称KL距离，相对熵。KL散度是描述两个概率分布P和Q之间差异的一种方法。直观地说，可以用来衡量给定任意分布...
python计算矩阵的散度_数据集相似度度量之KL&JS散度
weixin_34820733的博客
12-29 3268
原标题：数据集相似度度量之KL&JS散度一、KL散度1、什么是KL散度KL散度又叫相对熵，是描述两个概率分布差异的一种方法，有人将KL散度称为KL距离，但实际上它不满足距离概念中的两个条件，a、对称性，即D(P||Q)=D(Q||P); b、三角不等式；2、有什么样的作用模型效果好不好，在数据划分上大有讲究，如果训练集与测试集数据分布不满足同分布，模型表现必然不会太好，因此划分数据集之后对...
信息量、熵、交叉熵、KL散度、JS散度、Wasserstein距离
blackbeardiana的博客
10-20 940
笔者通过观看B站视频和阅读CSDN、知乎的文章，总结了KL散度 JS散度和推土机距离，为GAN的学习打好基础
KL，JS，Wasserstein距离
m0_37472516的博客
11-08 2143
最近在学GAN和WGAN，遇到了KL散度，JS散度，Wasserstein距离三个衡量概率分布相似度的度量方法。虽然之前也有接触KL，但是为了以后查找方便，还是决定做个记录总结。 本博客参考了下述博主的文章，这篇文章更多是整合及自己理解的总结。 KL KL，JS，Wasserstein距离 W距离与WGAN 1. KL散度 还是先从最简单的KL散度说起，KL散度描述了连个分布的近似程度，用对数差表...
[nlp] KL散度与JS散度
01-07
1.KL散度 KL散度( Kullback–Leibler divergence) (最大类间散度) 是描述两个概率分布差异的一种测度。对于两个概率分布P、Q，二者越相似，KL散度越小。 KL散度的性质：P：真实分布，Q：P的拟合分布 非负性：KL(P||Q)>=0，当P=Q时，KL(P||Q)=0； 反身性：KL(P||P)=0 非对称性：D(P||Q) ≠ D(Q||P) KL散度不满足三角不等式 from scipy import stats P = [0.2, 0.4, 0.4] Q = [0.4, 0.2, 0.5] print(stats.entropy(P,Q)) 0.144
衡量两个概率分布的距离（KL散度、JS距离）评价两个变量的相似度MALTAB代码
05-15
衡量两个概率分布P(x);Q(x) 的距离 包括 Kullback–Leibler divergence和Jensen–Shannon divergence
交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离
guohui_0907的博客
08-21 576
1 信息量        任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件...
KL散度 JS散度
阳光zfc
10-14 661
转发：https://www.jianshu.com/p/43318a3dc715?from=timeline&isappinstalled=0 https://en.wikipedia.org/wiki/Jensen%E2%80%93Shannon_divergence
KL散度（距离）和JS散度（距离）
Zhaohui_Zhang的博客
09-29 8626
两者都可以用来衡量两个概率分布之间的差异性。JS散度是KL散度的一种变体形式。 KL散度： 也称相对熵、KL距离。对于两个概率分布P和Q之间的差异性（也可以简单理解成相似性），二者越相似，KL散度越小。 KL散度的性质： ●非负性。即KL散度大于等于零。 ●非对称性。即运算时交换P和Q的位置，得到的结果也不一样。（所以这里严格来讲也不能把KL散度称为KL距离，距离一定符合对称性，所以要描述准确的话还是建议用KL散度来表述） 对离散分布来说： ...
Wasserstein和KL、JS散度区别
10-08
Wasserstein距离与KL散度和JS散度在衡量两个概率分布相似性方面有一些区别。KL散度和JS散度是基于概率论的度量方法，用于比较两个概率分布之间的差异。KL散度是非对称的，它衡量了一个分布相对于另一个分布的信息差异。而JS散度是KL散度的一种变体，它解决了KL散度非对称的问题，并且是对称的。KL散度和JS散度都是突变的，要么最大要么最小，且在高维空间中无法提供有意义的梯度信息。 而Wasserstein距离是一种平滑的度量方法，它衡量了通过最小成本将一个分布转化为另一个分布的方法。Wasserstein距离可以提供有意义的梯度，因此在一些优化算法中被广泛应用。与KL散度和JS散度不同，Wasserstein距离在高维空间中仍然能提供有意义的梯度信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值