信息熵、相对熵、交叉熵总结

最新推荐文章于 2025-02-23 12:00:16 发布
最新推荐文章于 2025-02-23 12:00:16 发布
阅读量687 收藏 2
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leemusk/article/details/107497236
版权
本文介绍了信息熵、相对熵（KL散度）和交叉熵的概念。信息熵衡量随机变量的不确定性，相对熵反映真实分布与假设分布的拟合程度，交叉熵则常用于评估分类模型性能，当交叉熵越小时，模型拟合度越高。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、什么是信息熵
信息熵是由热力学的中的熵引出的概念，在热力学中，熵通常表示事物的混沌程度，事物越混沌，其熵越大。相应的信息熵表示的是随机变量的不确定性，某个事件发生的概率越小，其信息熵越大。具体公式为：
H ( P ) = − ∑ P ( X ) l o g P ( X ) H(P) = -\sum P(X) logP(X) H(P)=−∑P(X)logP(X)
2. 什么是相对熵
相对熵也称为KL散度，描述的是随机变量的真实分布和假设分布的拟合程度，拟合程度越高，相对熵越小。若真实分布与假设分布完全一致，则相对熵为0。相对熵通常用于统计学中，当我们无法得知一个随机变量的真实分布，我们需要提出一个假设分布，并通过对相对熵进行优化得出最优的假设分布。具体公式为：
D ( P ∣ ∣ Q ) = ∑ P ( X ) l o g P ( X ) Q ( X ) D(P||Q) = \sum P(X) log \frac {P(X)} {Q(X)} D(P∣∣Q)=

最低0.47元/天 解锁文章
【机器学习】一文理清信息熵，相对熵，交叉熵
Shwan_ma的博客
03-25 977
初学者在搞清楚这个三个信息论的大怪兽时，往往会晕头转向。本文将简要的对这三个概念进行理清，文章尽量通俗，有不对的地方恳请斧正。 信息熵： 香农提出信息熵主要是用来解决对信息的量化度量问题，比如说存在选项【A,B,C,D】，若每个字母都用8位Ascii码存储，则表示这个四个选项需要32位bit。 如果此时采用二进制的话，4个选项用2位bit便可表示【00,01,10,11】。于是对4个选项信息进行量...
相对熵、信息熵和交叉熵
咕噜咕噜
08-18 405
what： 交叉熵是信息论的重要概念；用于度量两个概率分布之间的差异性； 其他相关知识： 信息量： 信息是用来消除随机不确定的东西； 信息量的大小与信息发生的概率成反比； I(x)=−log(P(x))， p(x)表示某一事件发生的概率，log表示自然对数 举例： 信息量为0：“太阳从东边升起” 信息量极大：”2018年中国队成功进入世界杯“ 信息熵： 信息熵也叫熵，是用来表示所有信息量的期望； 期望是每次试验结果的概率 乘以 结果的总和，因此公式如下： 举例：..
信息熵、熵、相对熵、交叉熵
Alla
07-24 279
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。 信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1 信息量 首先是信息量。
【机器学习】信息熵 交叉熵和相对熵
YoseZang的博客
02-23 1141
熵最初是一个热力学概念，用来衡量一个系统的混乱程度。和距离，面积等一样，都是一种度量。1948年美国数学家香农提出信息熵的概念，之后又有科学家提出了相对熵（也就是KL散度）和交叉熵的概念。
熵 信息熵 交叉熵
TranSad的博客
02-12 1986
在信息论当中，我们经常用熵来表示信息的混乱程度和不确定程度。熵越大，信息的不确定性就越强。 熵的公式如下： （注：log默认以2为底） 把这个公式拆开来看其实非常简单：一个负号，一个p(x)以及log(p(x))。我们知道一个事件发生的概率是0-1之间的，这样一个概率值送入log函数（如下图），肯定是小于0的，所以外面再加一个符号，就可以得到我们常见的正值的熵了。 当概率值趋于0或者1时（即确定性很强），则p(x)或者log(p(x))会趋于0，熵就会小；当概率值趋于1/2时...
信息熵，交叉熵和相对熵
weixin_30363981的博客
10-15 109
0 前言 上"多媒体通信"课，老师讲到了信息论中的一些概念，看到交叉熵，想到这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 1 信息熵的抽象定义 熵的概念最早由统计热力学引入。 信息熵是由信息论之父香农提出来的，它用于随机变量的不确定性度量，先上信息熵的公式。 信息是用来减少随机不确定性的东西（即不确定性的减少）。 我们...
信息熵，交叉熵，相对熵
Rudy95的博客
08-12 284
信息熵：衡量系统中不确定的程度、编码方案完美时，最短平均编码长度 交叉熵：码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数 相对熵又称为散度：交叉熵-信息熵，relative entropy。编码方案不一定完美时，平均编码长度相对于最小值的增加值。 参考链接：https://www.zhihu.com/question/41252833 神经网络中为什么...
熵、相对熵、交叉熵等理解
weixin_41093566的博客
04-11 1094
** 信息量 ** 假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，...
熵、相对熵和交叉熵的区别与联系
condi1997的博客
05-13 1573
目录一.信息量二.熵（信息熵）三.相对熵（KL散度）四.交叉熵五.交叉熵在单分类问题中的应用 一.信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 “太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。 ”2018年中国队成功进入世界杯“，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句
香农熵、交叉熵和相对熵
jediael_lu的专栏
07-13 1298
1、自信息、香农熵 信息论的基本思想是一个不太可能得事件居然发生了，要比一个非常可能发生的事件发生，能提供更多的信息。 定义一个事件发生的自信息为： I(x)=−log⁡P(x) I(x) = -\log P(x) I(x)=−logP(x) P(x)P(x)P(x)为xxx事件发生的概率。如果log以自然对数e为底，则单位为奈特；如果以2为底，则单位为比特。 自信息只能处理单个的输出，我们可以使用香农熵来对整个概率分布中的不确定性总量进行量化： H(x)=Ex−p[I(x)]=−Ex−p[log⁡P(x)
信息熵，交叉熵,相对熵
Baron的博客
11-08 233
参考链接：https://www.zhihu.com/question/22178202/answer/577936758 信息熵：通过度量信息，来描述信息熵。 概率描述的是事件发生的确定性，熵表示的是事件发生的不确定性。 选取抛硬币这一不确定性事件作为度量，信息熵是1bit(两种等概率的可能，用bit来描述） （1）等可能事件： 通过对不确定性等可能的事件的数量取对数，可以得到信息熵。 例如小明做选择题ABCD,完全不确定该选哪个，这种情况下小明对每个选项的不确定性都是相同的，这里事件数量是4，取对数得到
信息熵、交叉熵、相对熵
煎饼加鸡丝
07-23 582
【直观详解】信息熵、交叉熵和相对熵 熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 信息熵，描述信源的不确定度。 信息熵越大，越无序，越随机，信息量(的期望)越大，要消除不确定性所需信息量越大。 考虑把信息量存储下来需要多大空间/存储代价 (用存储空间表示信息熵(不确定性越高所需存储空间越大)) 举例：表示天气情况的P=[p1,p2,p3,p4]P...
交叉熵和信息熵
SZU_Hadooper的博客
04-24 2021
交叉熵： 用于多分类的损失函数，熵越大模型越不确定，熵越小模型越确定，即优化模型目的是最小化交叉熵 公式如下： 例子： 信息熵： 信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量，信息熵大小与观测者的观测粒度有关，即在P(xi)P(x_i)P(xi​)这个观测分布下熵的大小 相对熵（KL散度） 如果对于同一个随机变量XXX有两个单独的概率分布P(x)P(x)P(x)和Q(x...
信息熵、相对熵、交叉熵的理解
Master He的博客
12-27 1246
信息熵、相对熵、交叉熵信息论与信息熵相对熵(KL散度)交叉熵 信息论与信息熵 提到这三个概念，就不得不提到信息论。。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。香农也被称为是“信息论之父”。其实熵这个概念是香农，从热力学中借鉴过来的，热力学中的热熵是表示...
【直观详解】信息熵、交叉熵和相对熵
qwezhaohaihong
10-21 951
转载自：https://charlesliuyx.github.io/2017/09/11/%E4%BB%80%E4%B9%88%E6%98%AF%E4%BF%A1%E6%81%AF%E7%86%B5%E3%80%81%E4%BA%A4%E5%8F%89%E7%86%B5%E5%92%8C%E7%9B%B8%E5%AF%B9%E7%86%B5/ 【阅读时间】10min - 13min 【内...
信息熵、相对熵、交叉熵
qq_33278461的博客
08-26 475
信息论的一个基本想法 一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。 信息量 所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数. 所以***信息量是指信息多少的量度，用一个信息所需要的编码长度来定义。*** 根据信息论的基本想法，信息量和事件发生的概率有关。 假设X...
信息熵、交叉熵等相关基础知识
weixin_45653897的博客
04-19 1139
信息熵、交叉熵等基本概念
信息熵 交叉熵 kl散度 js散度
最新发布
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或“距离”，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值