如何比较概率分布的差异（KL散度/JS散度/交叉熵）

最新推荐文章于 2024-10-12 12:15:47 发布
最新推荐文章于 2024-10-12 12:15:47 发布
阅读量5.8k 收藏 12
点赞数 2
分类专栏： 机器学习实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34219959/article/details/102916534
版权

KL散度、JS散度和交叉熵都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。

对于概率分布P(x)和Q(x)

KL散度

又称KL距离，相对熵
在这里插入图片描述
其中 p(x) 是目标分布，q(x)是去匹配的分布，当P(x)和Q(x)的相似度越高，KL散度越小。

KL散度主要有两个性质：

  1. 不对称性
    尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q)!=D(Q||P)。

  2. 非负性
    相对熵的值是非负值，即D(P||Q)>0。

JS散度

JS散度也称JS距离，是KL散度的一种变形。
在这里插入图片描述
但是不同于KL主要又两方面：

（1）值域范围

JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。

（2）对称性

即 JS(P||Q)=JS(Q||P)，从数学表达式中就可以看出。

交叉熵

在神经网络中，交叉熵可以作为损失函数，因为它可以衡量P和Q的相似性
在这里插入图片描述
交叉熵和相对熵的关系：
在这里插入图片描述

iwtbs_kevin
关注
专栏目录
KL散度
yang_daxia的博客
11-03 1307
基础 蒸馏中的lodigts常用loss KL散度也叫相对熵。可以理解为，q分布相对p分布的差异。 可以理解为相对距离。 参考：https://zh.wikipedia.org/wiki/%E7%9B%B8%E5%AF%B9%E7%86%B5 和交叉熵的关系 如何通俗的解释交叉熵与相对熵？ - Peiwen的回答 - 知乎 https://www.zhihu.com/question/41252833/answer/195901726 torch实现 https://pytorch.
KL散度：衡量概率分布之间的差异
AI天才研究院
04-27 802
KL散度：衡量概率分布之间的差异 1. 背景介绍 1.1 概率分布的重要性 在机器学习、统计学和信息论等领域中,概率分布扮演着至关重要的角色。它描述了随机变量取值的可能性,为我们提供了对不确定性的量化和建模方式。无论是构建预测模型、进行数
衡量两个概率分布之间的差异性的指标
热门推荐
Avery123123的博客
10-22 1万+
总结一下衡量两个概率分布之间的差异性的指标：KL散度（Kullback–Leibler divergence、JS散度（Jensen-Shannon divergence）、交叉熵（Cross Entropy）、Wasserstein距离
区别：KL散度，JS散度，Wasserstein距离（EMD）
qq_34873710的博客
10-30 1万+
1 .KL散度（相对熵）： 性质： ①描述两个概率分布P,Q之间的差异 ②非负性：当且仅当两分布相同，相对熵等于0 ③非对称性：D(p||q)≠D(q||p) ④不是距离，且不满足三角不等式 ⑤相对熵 = 交叉熵 – 信息熵： D(p||q) = H(p,q) – H(p) 意义： ①典型情况下，P：数据的真实分布；Q：数据的理论分布、模型分布，P的近似分布 ②KL散度是用来...
深入理解熵、交叉熵、KL散度的概念及其差异
最新发布
v20000727的博客
10-12 1924
在机器学习和信息论中，熵、交叉熵和KL散度（Kullback-Leibler散度）是三个至关重要的概念。本文将详细介绍这些概念及其应用，可以更好地掌握模型优化过程中损失函数的意义，尤其在深度学习中，交叉熵和KL散度经常用于模型训练和概率分布估计。
两个概率分布之间的差异描述
weixin_44506510的博客
07-17 375
KL散度是衡量两个概率分布 ( P ) 和 ( Q ) 差异的一种方法，它是非对称的，即 ( D_{\text{KL}}(P \parallel Q) \neq D_{\text{KL}}(Q \parallel P) )。其中 ( \Pi(P, Q) ) 是 ( P ) 和 ( Q ) 之间的所有联合分布的集合，( X ) 和 ( Y ) 是从这些联合分布中抽取的随机变量。其中 ( \overline{P} ) 和 ( \overline{Q} ) 是 ( P ) 和 ( Q ) 的期望值。
KL Divergence ——衡量两个概率分布之间的差异
#仙女不扎马尾#的博客
04-23 7644
文章目录1 什么是KL Divergence（KL散度，也说是KL距离）2 一个简单的例子3 KL的性质4 KL散度的公式介绍5 Pytorch实现KL散度——F.kl_div()5.1 函数原型5.2 简单代码6 KL散度在R- Drop中的应用6.1 什么是Dropout?6.2 引入 R-drop6.3 在R-Drop的代码 1 什么是KL Divergence（KL散度，也说是KL距离） KL散度是一种概率分布和另一种概率分布的差异的距离。 公式如下： 2 一个简单的例子 3 KL的性质 具有
度量两个概率分布差异性/距离的指标总结_KL 散度（相对熵）交叉熵 JS散度 Wasserstein-1距离 Earth-Mover （EM）distance
MasterQKK
04-01 4955
KL 散度（相对熵）Kullback–Leibler divergence 交叉熵 ,交叉熵与KL散度的关系 JS散度（Jensen-Shannon divergence） Wasserstein-1距离 Earth-Mover （EM）distance
分类9个无理数并比较他们之间的分布差异
staple
06-22 590
(2**0.5,3**0.5)—100*10*2—(1,0)(0,1) (2**0.5,5**0.5)—100*10*2—(1,0)(0,1) (2**0.5,e)—100*10*2—(1,0)(0,1) (2**0.5,pi)—100*10*2—(1,0)(0,1) (2**0.5,6**0.5)—100*10*2—(1,0)(0,1) (2**0.5,7**0.5)—100*10*2—(1,0)(0,1) (2**0.5,8**0.5)—100*10*2—(1,0)(0,1) (2**0.
GAN的理论基础之KL散度与JS散度
yuanfang_hi的博客
01-23 4877
在介绍KL散度和JS散度之前，我们需要了解什么是信息熵，什么是交叉熵。 香农信息量、信息熵 香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 当对数的底数为2时，香农信息量的单位为比特 香农信息量描述的是随机变量在某一点...
信息论（信息熵、KL散度、交叉熵以及互信息）
MLer
10-12 638
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。 它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 这似乎与概率论和机器学习的关注点相去甚远，但实际上两者之间有着密切的联系。 因为简单地表示数据，需要将短码字分配给高概率的位串，并将长码字保留给低概率的位串。 这与自然语言中的情况类似，常见的单词(如“a”...
[nlp] KL散度与JS散度
心宝的博客
02-19 976
1.KL散度 KL散度( Kullback–Leibler divergence) (最大类间散度) 是描述两个概率分布差异的一种测度。对于两个概率分布P、Q，二者越相似，KL散度越小。 KL散度的性质：P：真实分布，Q：P的拟合分布 非负性：KL(P||Q)>=0，当P=Q时，KL(P||Q)=0； 反身性：KL(P||P)=0 非对称性：D(P||Q) ≠ D(Q||P) KL散度不...
KL距离（衡量两个概率分布的差异情况）
u011734144的专栏
04-24 1万+
KL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。KL距离全称为Kullback-Leibler Divergence，也被称为相对熵。公式为：感性的理解，KL距离可以解释为在相同的事件空间P(x)中两个概率P(x)和Q(x)分布的差异...
KL散度与JS散度
qq_29053993的博客
10-23 1万+
KL散度与JS散度KL散度(Kullback-Leibler divergence)KL散度的计算公式KL散度的基本性质JS散度(Jensen-Shannon divergence)JS散度的数学公式不同于KL的主要两方面 KL散度(Kullback-Leibler divergence) 又称KL距离，相对熵。KL散度是描述两个概率分布P和Q之间差异的一种方法。直观地说，可以用来衡量给定任意分布...
KL散度（距离）和JS散度（距离）
Zhaohui_Zhang的博客
09-29 8614
两者都可以用来衡量两个概率分布之间的差异性。JS散度是KL散度的一种变体形式。 KL散度： 也称相对熵、KL距离。对于两个概率分布P和Q之间的差异性（也可以简单理解成相似性），二者越相似，KL散度越小。 KL散度的性质： ●非负性。即KL散度大于等于零。 ●非对称性。即运算时交换P和Q的位置，得到的结果也不一样。（所以这里严格来讲也不能把KL散度称为KL距离，距离一定符合对称性，所以要描述准确的话还是建议用KL散度来表述） 对离散分布来说： ...
如何比较两个或多个分布（附资料下载）
数据派THU
06-04 978
来源：我得学城 本文约5900字，建议阅读10分钟 本文我们将介绍比较两个（或多个）分布以及评估它们之间差异的大小和显著性的不同方法。在数据科学中，比较不同组之间的变量的经验分布是一个常见的问题。特别是在因果推断中，当我们需要评估随机化的质量时，这个问题经常出现。当我们想评估某个政策（或用户体验特性、广告活动、药物等）的因果效应时，因果推断中的黄金标准是随机对照试验(randomized cont...
如何比较两个或多个分布：从可视化到统计检验的方法总结
数据派THU
07-21 1319
来源：DeepHub IMBA 本文6400字，建议阅读12分钟我们看到了很多不同的方法来比较两个或多个分布，无论是在可视化上还是在统计上。比较一个变量在不同组中的分布是数据科学中的一个常见问题。当我们想要评估一项策略(用户体验功能、广告活动、药物等)的因果效应时，因果推断的黄金标准便是随机对照试验，也就是所谓的A /B测试。在实践中，我们为研究选择一个样本，并将其随机分...
KL散度、JS散度和交叉熵
kakak_的博客
04-22 1420
对于连续型随机变量，假设P为随机变量X的概率分布，则p(x)为随机变量X在X = x处的概率 三者都是用来衡量两个概率分布P(x)和Q(x)之间的差异性的指标 KL散度 KL散度（Kullback–Leibler divergence）又称KL距离，相对熵。D(P∣∣Q)=∫−∞∞P(x)logP(x)Q(x)D(P||Q)=\int_{-\infty}^\infty P(x)log\frac{P...
KL散度 JS散度 熵 互信息
驽马十驾，功在不舍；锲而不舍，金石可镂。
07-28 770
KL(P∥Q)=∑xp(x)log⁡p(x)q(x)=−∑xp(x)log⁡q(x)p(x)KL(P∥Q)=x∑​p(x)logq(x)p(x)​=−x∑​p(x)logp(x)q(x)​其中p,qp,qp,q是两个概率分布，KL散度可用来衡量两个分布之间的差异。KL散度满足非负性，即KL(P∥Q)≥0。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值