信息熵、交叉熵、相对熵

最新推荐文章于 2025-02-23 12:00:16 发布
最新推荐文章于 2025-02-23 12:00:16 发布
阅读量563 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 信息熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jianbinzheng/article/details/81165273
版权
本文从热力学的熵概念出发，解释了信息熵如何度量信源的不确定度，指出熵越大，不确定性越高，需要的存储空间越大。接着通过例子展示了不同天气概率下的信息熵计算，并引出交叉熵的概念，它用于评估使用非真实分布策略消除系统不确定性所需的努力。交叉熵常作为损失函数衡量模型预测概率与实际分布的相似性。最后提到了相对熵（KL散度），用于衡量两个概率分布的差异，值越小表示两者越接近，当相同时为0。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主要在此文基础上精简，按自己理解表达下【直观详解】信息熵、交叉熵和相对熵

  • 熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。
  • 信息熵，描述信源的不确定度。

信息熵越大，越无序，越随机，信息量(的期望)越大，要消除不确定性所需信息量越大。

考虑把信息量存储下来需要多大空间/存储代价
(用存储空间表示信息熵(不确定性越高所需存储空间越大))

举例：表示天气情况的 P=[p1,p2,p3,p4] P = [ p 1 , p 2 , p 3 , p 4 ] ，通常做法表示为[00,01,10,11]，共2bit

S=∑i=14(Pi×F(Pi)) S = ∑ i = 1 4 ( P i × F ( P i ) )

F(Pi) F ( P i ) 表示存储空间， Pi P i 表示事件i的概率，公式表示各个事件需要的存储空间期望和

概率越大，存储空间越小(哈夫曼编码)

F(Pi)=1Pi;F(
最低0.47元/天 解锁文章
【机器学习】一文理清信息熵，相对熵，交叉熵
Shwan_ma的博客
03-25 963
初学者在搞清楚这个三个信息论的大怪兽时，往往会晕头转向。本文将简要的对这三个概念进行理清，文章尽量通俗，有不对的地方恳请斧正。 信息熵： 香农提出信息熵主要是用来解决对信息的量化度量问题，比如说存在选项【A,B,C,D】，若每个字母都用8位Ascii码存储，则表示这个四个选项需要32位bit。 如果此时采用二进制的话，4个选项用2位bit便可表示【00,01,10,11】。于是对4个选项信息进行量...
信息熵、相对熵、交叉熵总结
leemusk的博客
07-21 676
1、什么是信息熵 信息熵是由热力学的中的熵引出的概念，在热力学中，熵通常表示事物的混沌程度，事物越混沌，其熵越大。相应的信息熵表示的是随机变量的不确定性，某个事件发生的概率越小，其信息熵越大。具体公式为： H(P)=−∑P(X)logP(X) H(P) = -\sum P(X) logP(X) H(P)=−∑P(X)logP(X) 2. 什么是相对熵 相对熵也称为KL散度，描述的是随机变量的真实分布和假设分布的拟合程度，拟合程度越高，相对熵越小。若真实分布与假设分布完全一致，则相对熵为0。相对熵通常用于统计
信息熵，交叉熵和相对熵
weixin_30363981的博客
10-15 101
0 前言 上"多媒体通信"课，老师讲到了信息论中的一些概念，看到交叉熵，想到这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 1 信息熵的抽象定义 熵的概念最早由统计热力学引入。 信息熵是由信息论之父香农提出来的，它用于随机变量的不确定性度量，先上信息熵的公式。 信息是用来减少随机不确定性的东西（即不确定性的减少）。 我们...
【机器学习】信息熵 交叉熵和相对熵
YoseZang的博客
02-23 1110
熵最初是一个热力学概念，用来衡量一个系统的混乱程度。和距离，面积等一样，都是一种度量。1948年美国数学家香农提出信息熵的概念，之后又有科学家提出了相对熵（也就是KL散度）和交叉熵的概念。
信息熵，交叉熵，相对熵
Rudy95的博客
08-12 265
信息熵：衡量系统中不确定的程度、编码方案完美时，最短平均编码长度 交叉熵：码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数 相对熵又称为散度：交叉熵-信息熵，relative entropy。编码方案不一定完美时，平均编码长度相对于最小值的增加值。 参考链接：https://www.zhihu.com/question/41252833 神经网络中为什么...
信息熵，交叉熵,相对熵
Baron的博客
11-08 217
参考链接：https://www.zhihu.com/question/22178202/answer/577936758 信息熵：通过度量信息，来描述信息熵。 概率描述的是事件发生的确定性，熵表示的是事件发生的不确定性。 选取抛硬币这一不确定性事件作为度量，信息熵是1bit(两种等概率的可能，用bit来描述） （1）等可能事件： 通过对不确定性等可能的事件的数量取对数，可以得到信息熵。 例如小明做选择题ABCD,完全不确定该选哪个，这种情况下小明对每个选项的不确定性都是相同的，这里事件数量是4，取对数得到
相对熵、信息熵和交叉熵
咕噜咕噜
08-18 391
what： 交叉熵是信息论的重要概念；用于度量两个概率分布之间的差异性； 其他相关知识： 信息量： 信息是用来消除随机不确定的东西； 信息量的大小与信息发生的概率成反比； I(x)=−log(P(x))， p(x)表示某一事件发生的概率，log表示自然对数 举例： 信息量为0：“太阳从东边升起” 信息量极大：”2018年中国队成功进入世界杯“ 信息熵： 信息熵也叫熵，是用来表示所有信息量的期望； 期望是每次试验结果的概率 乘以 结果的总和，因此公式如下： 举例：..
熵、相对熵和交叉熵的区别与联系
condi1997的博客
05-13 1559
目录一.信息量二.熵（信息熵）三.相对熵（KL散度）四.交叉熵五.交叉熵在单分类问题中的应用 一.信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 “太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。 ”2018年中国队成功进入世界杯“，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句
熵、相对熵、交叉熵等理解
weixin_41093566的博客
04-11 1080
** 信息量 ** 假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，...
香农熵、交叉熵和相对熵
jediael_lu的专栏
07-13 1272
1、自信息、香农熵 信息论的基本思想是一个不太可能得事件居然发生了，要比一个非常可能发生的事件发生，能提供更多的信息。 定义一个事件发生的自信息为： I(x)=−log⁡P(x) I(x) = -\log P(x) I(x)=−logP(x) P(x)P(x)P(x)为xxx事件发生的概率。如果log以自然对数e为底，则单位为奈特；如果以2为底，则单位为比特。 自信息只能处理单个的输出，我们可以使用香农熵来对整个概率分布中的不确定性总量进行量化： H(x)=Ex−p[I(x)]=−Ex−p[log⁡P(x)
熵 信息熵 交叉熵
TranSad的博客
02-12 1963
在信息论当中，我们经常用熵来表示信息的混乱程度和不确定程度。熵越大，信息的不确定性就越强。 熵的公式如下： （注：log默认以2为底） 把这个公式拆开来看其实非常简单：一个负号，一个p(x)以及log(p(x))。我们知道一个事件发生的概率是0-1之间的，这样一个概率值送入log函数（如下图），肯定是小于0的，所以外面再加一个符号，就可以得到我们常见的正值的熵了。 当概率值趋于0或者1时（即确定性很强），则p(x)或者log(p(x))会趋于0，熵就会小；当概率值趋于1/2时...
信息熵、相对熵与交叉熵
鲁班七号
09-24 448
目录1. 信息熵2. 相对熵3. 交叉熵4. 交叉熵与softmax 1. 信息熵   熵是一个信息论中的概念，表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。信息熵公式如下： H(p)=−∑i=1np(xi)logp(xi)H(p)=-\sum_{i=1}^{n}{p(x_i)logp(x_i)}H(p)=−i=1∑n​p(xi​)logp(xi​) 2. 相对熵   相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)p(x)p(x)和q(x)q(x)q(x)之间的差异
信息熵，交叉熵与相对熵
liu3612162的博客
12-26 390
前言 最近在多处看到熵的概念，之前零散的了解了一下，最近总结下，加深一下理解。 熵 熵是信息论中的一个概念，用于衡量一个随机变量的不确定性，公式很简单：log(1/p(x))log(1/p(x))log(1/p(x))，其中p(x)p(x)p(x)为x的概率分布（离散）或者概率密度（连续）函数，公式很直观，概率越小熵越大，即信息量越大。 信息熵 信息熵为熵的期望，用于衡量一个分布的不确定性，以下为...
【直观详解】信息熵、交叉熵和相对熵
qwezhaohaihong
10-21 938
转载自：https://charlesliuyx.github.io/2017/09/11/%E4%BB%80%E4%B9%88%E6%98%AF%E4%BF%A1%E6%81%AF%E7%86%B5%E3%80%81%E4%BA%A4%E5%8F%89%E7%86%B5%E5%92%8C%E7%9B%B8%E5%AF%B9%E7%86%B5/ 【阅读时间】10min - 13min 【内...
信息熵、交叉熵等相关基础知识
weixin_45653897的博客
04-19 1111
信息熵、交叉熵等基本概念
信息熵 交叉熵 kl散度 js散度
最新发布
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或“距离”，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值