KL散度、JS散度 的理解以及一些问题

最新推荐文章于 2024-06-16 10:45:52 发布
最新推荐文章于 2024-06-16 10:45:52 发布
阅读量3.3k 收藏 9
点赞数
分类专栏： 深度学习 文章标签： 神经网络 机器学习 深度学习 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115367077
版权

散度

KL散度

定义

KL(Kullback-Leibler divergence)散度用来描述两个概率分布P和Q的差异的一种方法，也叫做相对熵(relative entropy)。

特性

1.KL具有非对称性，即D(P||Q) ≠ D(Q||P)。

2.非负性：因为对数函数是凸函数，所以 KL散度的值为非负数。

3.KL散度不满足三角不等式: KL(A,B) > KL(A,C)+KL(C,B)

公式

离散

在这里插入图片描述

连续

在这里插入图片描述

机器学习

在机器学习领域，是用来度量两个函数的相似程度或者相近程度。

JS散度

出现的原因

KL散度时不对称的，训练神经网络会因为不同的顺序造成不一样的训练结果，为了克服这个问题，提出了JS散度。

公式

在这里插入图片描述

特性

1.对称

2.非负

3.值域范围

JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。

问题

当两个概率分布不一样的时候，它们的值是不是会随着距离的变大而变大。两个概率分布完全不一样的时候，距离是log(2)

交叉熵（Cross Entropy）

定义

交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。

尽管交叉熵刻画的是两个概率分布之间的距离，但是神经网络的输出却不一定是一个概率分布。为此我们常常用Softmax回归将神经网络前向传播得到的结果变成概率分布。

公式

在神经网络中，交叉熵可以作为损失函数，因为它可以衡量P和Q的相似性。
在这里插入图片描述

和KL散度的关系

在这里插入图片描述

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python计算矩阵的散度_数据集相似度度量之KL&JS散度
weixin_34820733的博客
12-29 3186
原标题：数据集相似度度量之KL&JS散度一、KL散度1、什么是KL散度KL散度又叫相对熵，是描述两个概率分布差异的一种方法，有人将KL散度称为KL距离，但实际上它不满足距离概念中的两个条件，a、对称性，即D(P||Q)=D(Q||P); b、三角不等式；2、有什么样的作用模型效果好不好，在数据划分上大有讲究，如果训练集与测试集数据分布不满足同分布，模型表现必然不会太好，因此划分数据集之后对...
KL散度（距离）和JS散度（距离）
Zhaohui_Zhang的博客
09-29 8263
两者都可以用来衡量两个概率分布之间的差异性。JS散度是KL散度的一种变体形式。 KL散度： 也称相对熵、KL距离。对于两个概率分布P和Q之间的差异性（也可以简单理解成相似性），二者越相似，KL散度越小。 KL散度的性质： ●非负性。即KL散度大于等于零。 ●非对称性。即运算时交换P和Q的位置，得到的结果也不一样。（所以这里严格来讲也不能把KL散度称为KL距离，距离一定符合对称性，所以要描述准确的话还是建议用KL散度来表述） 对离散分布来说： ...
神经网络数学基础-K L散度、JS 散度、Wasserstein 距离
u014546828的博客
08-14 1065
目录 KL 散度 JS 散度 (Jensen-Shannon) Wasserstein 距离 KL 散度 KL散度又称为相对熵，信息散度，信息增益。KL 散度是是两个概率分布 和 差别的非对称性的度量。 KL 散度是用来度量使用基于 的编码来编码来自 的样本平均所需的额外的位元数。 典型情况下， 表示数据的真实分布， 表示数据的理论分布、模型分布，或 的近似分布。 定义如下： 因为对数函数是凸函数，所以KL散度的值为非负数。 KL 散度并不满足距离的性质： KL 散度不是对称.
KL散度（Kullback-Leibler divergence）
最新发布
幼儿园大哥~
06-16 1138
散度用于量化使用一个概率分布来近似另一个概率分布时损失的信息量。散度是基于信息论的概念，而信息的传递方向是有区别的。散度不是真正的距离度量，而是一种相对信息的度量。L散度不满足三角不等式，即。散度始终大于等于零，即。与凸函数的关系：如果。
深度学习 学习笔记一
x3464的博客
10-21 1207
数学基础 logistic函数 logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。 Sigmoid 是常用的非线性的激活函数，可以将全体实数映射到（0， 1）区间上，其采用非线性方法将数据进行归一化处理；sigmoid函数通常用在回归预测和二分类（即按照是否大于0.5进行分类）模型的输出层中。 优点： ...
生成模型基础概念-JS散度和Wasserstein散度
weixin_42491648的博客
08-23 640
Wasserstein距离相比 KL 散度和 JS 散度的优势在于：即使两个分布没有重叠或者重叠非常少，Wasserstein距离仍然能反映两个分布的远近。如果将两个分布看作是两个土堆，联合分布 𝛾(𝑥, 𝑦) 看作是从土堆 𝑞1 的位置𝑥到土堆𝑞2 的位置𝑦的搬运土的数量，并有。其中Γ(𝑞1, 𝑞2)是边际分布为𝑞1 和𝑞2 的所有可能的联合分布集合，𝑑(𝑥, 𝑦)为𝑥和𝑦的距离，比如ℓ𝑝 距离等。可以理解为在联合分布𝛾(𝑥, 𝑦)下把形状为𝑞1 的土堆搬运到形状为𝑞2 的土堆所需的工作量，
KL(kullback-Leibler-devergence)散度（相对熵）非负性
【秋名鱼酱的博客】
12-04 6377
KL(kullback-Leibler-devergence)散度（相对熵）非负性证明 两个概率分布：P(X)和Q(X)，两个分布之间的距离： 根据jensen不等式，为了避免和各种凹凸性混淆，因为外国人眼里的凹凸性和我们常说的有点小差异，不过都是指的同一个东西。这里规定凹函数（concave）下凸函数为，凸函数（convex）为上凸函数。log函数为上凸函数，-log函数为下凸函数，则 ...
KL散度与JS散度
qq_29053993的博客
10-23 9962
KL散度与JS散度KL散度(Kullback-Leibler divergence)KL散度的计算公式KL散度的基本性质JS散度(Jensen-Shannon divergence)JS散度的数学公式不同于KL的主要两方面 KL散度(Kullback-Leibler divergence) 又称KL距离，相对熵。KL散度是描述两个概率分布P和Q之间差异的一种方法。直观地说，可以用来衡量给定任意分布...
KL散度非负证明推导
思过留痕
09-30 2877
相对熵（KL散度）
热门推荐
ACdreamer
03-26 8万+
今天开始来讲相对熵，我们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反 之就越高。下面是熵的定义   如果一个随机变量的可能取值为，对应的概率为，则随机变 量的熵定义为                  有了信息熵的定义，接下来开始学习相对熵。   Contents      1. 相对熵的认识    2. 相对熵的性质    3. 相
pytorch中的kl散度，为什么kl散度是负数？
算法岗从零到无穷
09-27 1万+
F.kl_div()或者nn.KLDivLoss()是pytroch中计算kl散度的函数，它的用法有很多需要注意的细节。 输入 第一个参数传入的是一个对数概率矩阵，第二个参数传入的是概率矩阵。并且因为kl散度具有不对称性，存在一个指导和被指导的关系，因此这连个矩阵输入的顺序需要确定一下。如果现在想用Y指导X，第一个参数要传X，第二个要传Y。就是被指导的放在前面，然后求相应的概率和对数概率就可以了。 所以，一随机初始化一个tensor为例，对于第一个输入，我们需要先对这个tensor进行softmax（确保各
散度计算的MATLAB代码
03-15
散度计算的MATLAB代码
一点对 KL 散度的理解
wzg2016的博客
05-19 2102
在深度学习中经常用到的一个概念是 KL散度。之前对KL散度进行过一次理解，但后来随着利用次数的减少，开始忘却其具体的定义与物理意义，仅在印象中记得是“描述两个分布的相似度的度量”。这个描述并不准确。为了便于以后查找回顾，这里再次把KL散度的相关理解整理下来。 KL 散度,全称 Kullback-Leible divergence, 是用于度量一个拟合分布Q与标准分布P的差异的一种方法，它是非对称的，这意味着. 其中可以理解为Q分布与P分布的差异，或者信息损失。 在介绍KL散度之前，先介绍信息熵的概念。
Jenson不等式及其在EM估计与KL散度中的应用
chengyucsdn的博客
06-02 801
1.Jenson不等式 Jenson不等式定义：如果f(x)f(x)f(x)是凸函数，则有E[f(x)]≥f(E[x])E[f(x)] \geq f(E[x])E[f(x)]≥f(E[x])成立。 凸函数的充要条件：a,b在f(x)f(x)f(x)定义域上，λf(a)+(1−λ)f(b)≥f(λa+(1−λ)b)\lambda f(a)+(1-\lambda) f(b)\geq f(\lambda...
KL散度及其python实现
lyx的专栏
07-05 2万+
KL散度又是一个从信息论、熵的角度考量距离的一个量。但是，这里说他是距离有点不妥，因为距离需要满足4个条件： 1) d(x,x) = 0                    反身性 2) d(x,y) >= 0                  非负性 3) d(x,y) = d(y,x)              对称性 4) d(x,k)+ d(k,y) >= d(x,y)    三
机器学习基础（五十八）—— 香农熵、相对熵（KL散度）与交叉熵
04-28 1万+
香农熵（Shannon entropy）信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。如果一个随机变量 XX 的可能取值为 X={x1,x2,…,xn}X=\{x_1,x_2,\ldots,x_n\}，对应的概率为 p(X=xi)p(X=x_i)，则随机变量 XX 的信息熵为：H(X)=−∑i=1np(xi)logp(xi) H(X)=-\sum
KL散度、JS散度、Wasserstein距离
qq_28792801的博客
07-30 5902
转自 https://zxth93.github.io/2017/09/27/KL%E6%95%A3%E5%BA%A6JS%E6%95%A3%E5%BA%A6Wasserstein%E8%B7%9D%E7%A6%BB/ 1. KL散度 KL散度又称为相对熵，信息散度，信息增益。KL散度是是两个概率分布P和Q 差别的非对称性的度量。 KL散度是用来 度量使用基于Q的编码来编码来自P的样本平均...
KL散度和交叉熵的相关总结
michael_tim的博客
03-09 439
博客link很好的说明了KL散度和交叉熵的异同。 博客link通过各种角度给出了不同的解释方法。
机器学习_JS散度详解
欢迎大家关注我
12-10 9438
JS散度解析。
浅谈KL散度
weixin_33774615的博客
10-26 522
一、第一种理解　　 　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 　　KL散度是两个概率分布P和Q差别的非对称性的度量。       KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值