KL散度&交叉熵&信息熵&不确定性信息度量

最新推荐文章于 2025-01-10 22:18:03 发布
最新推荐文章于 2025-01-10 22:18:03 发布
阅读量1.1k 收藏 8
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sz3321/article/details/89875296
版权

0.起源

物理学中的热力学 熵：度量分子在物理空间中的混乱程度；

1.信息熵

信息熵： 度量信息量的多少；
以离散信息为例
离散符号：x1，x2，…，xn；
信息中各符号出现的概率：p1，p2，…，pn；
信息的不确定性函数： f： p—f（p）；
p越大，信息的不确定性越小，因此f是一个 减函数；
假设前提： 各符号的出现是相互独立的（与实际不符）
则：f（p1，p2）=f（p1）+f（p2），即f具有可加性；

满足 减函数和可加性 的不确定性函数f 定义为：
在这里插入图片描述

最低0.47元/天 解锁文章
信息论基础知识：【信息熵 &不确定性】
专注于计算机研发知识和资讯分享
01-23 2万+
前言 传播同一则信息，信息的量好像弹性空间很大，我们应该如何测一测这个信息的量呢？如果这个信息的量是可测，那么要传递一条信息，有没有量的下限呢？也就是说，我们至少要用去多少个单位量才能完整表达这条信息呢？我们甚至还可以进一步想，要传递一条信息最少需要多少卡路里的能量呢？ 信息熵 信息熵代表了一个黑盒子中的不确定性，或者说，要搞清楚这个黑盒子的秘密所需要的信息。(例子：怎么用鼓点准确传达消息呢？方...
pytorch学习笔记（十）————交叉熵
weixin_43886278的博客
02-11 504
pytorch学习笔记（九）————交叉熵 (1)熵的定义 熵(Entropy)代表事件所包含的不确定性，也叫作惊喜度。熵越高则代表事件的不确定性越高，具体原因可参考博客：https://blog.csdn.net/am290333566/article/details/81187124 举个例子： 1.假如有四个事件，发生的概率都是0.25，也就是说这四个事件发生的概率一样，很难在一开始就预...
信息熵,KL散度和交叉熵
qq_40875308的博客
04-05 223
总结一些在机器学习中常用的信息论的概念 信息熵 信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事 件发生，能提供更多的信息 ...
熵与交叉熵：从不确定性角度理解 KL 散度
进一步有进一步的欢喜~
01-10 1107
从不确定性减少的视角深入理解 KL 散度，为我们提供了一种直观且强大的方式来衡量不同概率分布之间的差异，以及评估基于近似分布所做决策或预测的质量。
信息量、信息熵、KL散度、交叉熵
Roaddd的博客
12-15 1634
信息量 定义：        香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的。一个消息的可能性愈小，其信息愈多；而消息的可能性愈大，则其信息量愈少；事件出现的概率小，不确定性越多，信息量就大，反之则少。香农认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 示例： 1）“明天太阳从东边升起”，信息量为0。 2）“明天我会中500W彩票”，信息量
信息熵，交叉熵与相对熵
liu3612162的博客
12-26 391
前言 最近在多处看到熵的概念，之前零散的了解了一下，最近总结下，加深一下理解。 熵 熵是信息论中的一个概念，用于衡量一个随机变量的不确定性，公式很简单：log(1/p(x))log(1/p(x))log(1/p(x))，其中p(x)p(x)p(x)为x的概率分布（离散）或者概率密度（连续）函数，公式很直观，概率越小熵越大，即信息量越大。 信息熵 信息熵为熵的期望，用于衡量一个分布的不确定性，以下为...
模型量化中的KL散度扫盲
tugouxp的专栏
01-18 2652
我是万万没想到，最后还是入了算法的坑，虽然和正经数学，信息学相关专业的同学没法比，充其量算是半个爱好者，但是逐渐愿意投入时间思考这方面的问题，对于一个年近不惑的中年人来说，不知道是幸还是不幸。 今天扫盲的是KL散度算法，在神经网络前向传递的过程中，KL三度算法用来评估各层量化前后的信息损失。 下面一段文字来自于网文摘抄，觉得不错，至少感觉假以时日，自己可以理解，权且贴在这里： K-L散度，全称是Kullback-Leibler Divergence，是一种量化两种概率分布P和Q之间差异的方式，又叫相对
信息熵、KL散度、交叉熵、互信息、点互信息
m0_61688615的博客
03-05 2329
概率论基础知识的介绍
自信息量-信息熵-KL散度-交叉熵损失.pdf
12-30
自信息量是衡量单个事件不确定性大小的度量，与信息熵相似，但关注的是单个事件而不是整个概率分布的平均不确定性。信息量有比特（香农信息量）和奈特信息量之分，它们的计算公式相同，仅对数的底数不同。对于离散型...
【深刻理解KL散度】为什么许多分类网络使用交叉熵作为损失函数，而非KL散度损失？交叉熵和KL散度的联系与区别。
qq_55087001的博客
04-22 1656
这个其实很容易理解，如果一件事情很容易发生，比如说"明天会是晴天"，其包含的信息量很小，你会觉得很平常一件事儿，没有什么意思。而如果有个极小概率发生的事情比如"明天会发生地震"，你会觉得很震惊，因为它带来的信息量是很大的。有了信息量的概念之后，香农定义了信息熵，故也称为香农熵。不同于信息量描述的是一个随机事件，信息熵用于描述一个。以抛硬币为例，如果定义硬币朝上为事件。当一个均匀硬币，它的真实概率分布为。而在实验中，我们预测的概率分布为。通过上面的计算，我们可以观察到，对于一个非均匀硬币，
信息论（信息熵、KL散度、交叉熵以及互信息）
MLer
10-12 674
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。 它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 这似乎与概率论和机器学习的关注点相去甚远，但实际上两者之间有着密切的联系。 因为简单地表示数据，需要将短码字分配给高概率的位串，并将长码字保留给低概率的位串。 这与自然语言中的情况类似，常见的单词(如“a”...
kl散度定义_机器学习小知识: 图解熵、交叉熵和 KL散度
weixin_39828956的博客
12-03 428
交叉熵是分类问题中最常用的损失函数之一。但是由于如今有大量容易上手的现成库和框架，我们大多数人常常在没有真正了解熵的核心概念的情况下，就可以熟练地解决问题。在本文中，让我们研究一下熵这个概念背后的基本直觉，并将其与交叉熵、KL-散度相关联。我们还将使用交叉熵作为损失函数，结合一个实例来看看它在分类问题中的应用。1什么是熵？首先，本文指的熵是指信息熵。想要明白熵的确切含义，先让我们了解一下...
度量不确定性——云理论
Infomation Optimus
01-22 623
李德毅老师开创的云理论，是对传统的隶属函数概念的扬弃。自然界中大量模糊概念可以用正态云来刻划的事实，导致了对正态云外部特征以及内部机理的深入研究。模糊概念可表述为一个边界具有不同弹性的，收敛于正态分布函数的云。实质上，云是用语言值表示的某个定性概念与其定量表示之间的不确定性转换模型，云的数字特征可用期望值Ex、熵En、超熵He三个数值来表征，它把模糊性和随机性完全集成到一起，构成定性和定量相互间的...
不确定建模学习笔记
weixin_39112744的博客
04-01 1599
一、介绍：了解我们不知道的事物的重要性 二、不确定性语言 三、贝叶斯深度学习 四、不确定性质量 五、应用 六、深入洞察 七、研究展望 第一节：知道我们所不知道的。 1.1Aleatoric uncertainty and epistemic uncertainty 任意不确定性和认知不确定性 认知不确定性也称model uncertainty（模型不确定性），包含unce...
信息熵（不确定性）的理解与解释
热门推荐
weixin_43348682的博客
10-16 1万+
补充： 熵越高，说明事件的不确定性越大。而信息不确定性越大时，该信息的价值越高。 总结： 1、某随机事件结果的种类越多，该事件的熵越大 2、某随机事件的各种可能发生的结果概率越均匀，该事件的熵越大 ...
VAE系列之KL散度推导和理解
xinxiang7
04-10 2360
储备知识 多维高斯公式的表达和推导 一维正态分布都为大家所熟知： N(x;μ,σ2)=12πσ2exp(−(x−μ)22σ2)N(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})N(x;μ,σ2)=2πσ2​1​exp(−2σ2(x−μ)2​) 对于多维高斯分布，x⃗=(x1,x2,....
程序员的数学课10 信息熵：事件的不确定性如何计算？
fegus的博客
10-01 1108
你好，欢迎来到第 10 课时——信息熵：事件的不确定性如何计算？从加乘法则开始，我们基于事情的不确定性出发，尝试计算事情发生的可能性。然而，。我说的这句话是什么意思呢？下面我举个例子来说明。假设有两场足球赛，也就是两个事件。第一场足球赛，对阵的双方是老挝队和巴西队，标记为事件 A；第二场足球赛，对阵的双方是阿根廷队和葡萄牙队，标记为事件 B。显然，在比赛开始前，这两个事件的比赛结果都具备一定的不确定性。人们也会根据历史数据，分别计算两场足球赛结果的概率。
每日一个机器学习算法——信息熵
weixin_34087307的博客
09-13 546
1 定义 2 直观解释 信息熵用来衡量信息量的大小 若不确定性越大，则信息量越大，熵越大 若不确定性越小，则信息量越小，熵越小 比如A班对B班，胜率一个为x，另一个为1-x 则信息熵为 -(xlogx + (1-x)log(1-x)) 求导后容易证明x=1/2时取得最大，最大值为2 也就是说两者势均力敌时，不确定性最大，熵最大。 3 应用 数据挖掘中的决策树。 构建决策树...
机器学习中使用的交叉熵（cross entropy）透彻分析
m0_37957160的博客
06-05 1384
从字面分析交叉熵，1是交叉、2是熵（熵与信息量有关）；首先交叉熵涉及信息论里面的东西，想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解。 （1）信息量 衡量信息量可以用大小或者多少来形容，就是你传达的信息能别人带来多大的价值感吧，首先我说明天会下雨，这句话的信息量有多少呢？（我也不知道啊，哈哈）但是你说中国疫情现在已经结束了；mei国疫情也已经结束了。显然仅凭直觉，我们可以看出你要传达的第二句话比第一句话的信息量要大，因为中国的疫情我们大家很显然知道已经结束了，这句话发生概率几乎为1，
信息熵 交叉熵 kl散度 js散度
最新发布
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或“距离”，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值