详解熵， 交叉熵，KL散度，互信息

最新推荐文章于 2024-09-27 09:18:58 发布
最新推荐文章于 2024-09-27 09:18:58 发布
阅读量1.5k 收藏 5
点赞数 4
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiede1/article/details/117625801
版权
本文详细介绍了信息论中的熵、联合熵、条件熵、相对熵（KL散度）和互信息的概念。在机器学习中，这些概念被用于衡量概率分布的相似性、特征选择和模型优化。互信息可以表示两个变量的相关性，并在特征选择中帮助减少不确定性，尤其在决策树算法中。此外，与F检验相比，互信息更能捕捉非线性相关性。
摘要由CSDN通过智能技术生成

首先介绍几个信息论中的概念。

熵， 表示某个概率分布的不确定度：
H ( x ) = − ∑ p ( x ) l o g p ( x ) H(x) = - \sum p(x) log p(x) H(x)=−∑p(x)logp(x)

联合熵，两个变量联合分布的不确定度：
H ( x , y ) = ∑ ∑ p ( x , y ) l o g p ( x , y ) H(x,y) = \sum \sum p(x,y) log p(x,y) H(x,y)=∑∑p(x,y)logp(x,y)

条件熵，在X确定后，Y的不确定度：
H ( Y ∣ X ) = ∑ p ( x i ) H ( Y ∣ X = x i ) = ∑ ∑ p ( x , y ) l o g ( p ( x , y ) / p ( x ) ) H(Y|X) = \sum p(x_i) H(Y|X=x_i) = \sum \sum p(x,y) log (p(x,y)/p(x)) H(Y∣X)=∑p(xi​)H(Y∣X=xi​)=∑∑p(x,y)l

最低0.47元/天 解锁文章
信息论知识：互信息、交叉熵、KL散度
简单快乐
07-05 5604
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。消息说：‘‘今天早上太阳升起’’ 信息量是如此之少以至于没有必要发送，但一条消息说：‘‘今天早上有日食’’ 信息量就很丰富。 我们想要通过这种基本想法来量化信息。定义三个性质 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。 较不可能发生的事件具有更高的信息量。 ...
【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）
热门推荐
haolexiao的专栏
04-12 2万+
首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，之前非常著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的来龙去脉，而且非常的直观用了大量的图片，和形象化的解释。 信息量信息量用一个信息所需要的编码长度来定义,而一个信息的编码长度跟其出现的概率呈负相关,因为一个短编码的代价也是巨大的,因为
信息熵、KL散度、交叉熵、互信息、点互信息
m0_61688615的博客
03-05 1994
概率论基础知识的介绍
论文笔记——Graph Bottlenecked Social Recommendation
最新发布
保持学习
09-27 1221
论文精度及其代码复现——Graph Bottlenecked Social Recommendation
信息论常见概念：熵、互信息、KL散度和信息增益
Alvin_hcf的Blog
08-23 1824
文章目录熵信息量熵联合熵条件熵相对熵互信息信息增益 熵 信息的不确定度 信息量 熵 联合熵 条件熵 相对熵 互信息 信息增益 名称 公式 解释 信息量 h(x)=log21P(x)=−log2P(x)h(x) = log_2 {\frac{1}{P(x)}} = - log_2 { P(x)}h(x)=log2​P(x)1​=−log2​P(x) x：一个事件P(x)：事件 x 发...
熵，互信息，KL距离（相对熵），交叉熵
老哥的专栏
09-08 4024
熵信息论中的熵，又叫信息熵。它是用来衡量，一个随机变量的不确定程度。 熵越大，他的不确定性越大。最大熵模型的假设就是基于此而来。 H(X)=E[I(xi)]=−∑n=1NP(xI)log(P(xi))\begin{equation*} H(X) = E[I(x_{i})] = -\sum_{n = 1}^NP(x_{I})log(P(x_{i})) \end{equation*}联合熵联合熵用得
信息熵、互信息、KL散度
韩明宇
06-17 1863
信息熵 自信息量 设离散信源X的概率空间为： ， 称事件发生所含有的信息量为的自信息量： 信息熵 自信息的数学期望为平均自信息量，称为信息熵： 当r=2时： 信息熵的单位由自信息量的单位决定，即取决于对数的底。 交叉熵 假设一个样本集中两个概率分布p,q，其中p为真实分布，q为非真实分布，如果采用错误的分布q来表示来自真实分布p的平均编码长度，则应该是 ...
信息论（信息熵、KL散度、交叉熵以及互信息）
MLer
10-12 638
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。 它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 这似乎与概率论和机器学习的关注点相去甚远，但实际上两者之间有着密切的联系。 因为简单地表示数据，需要将短码字分配给高概率的位串，并将长码字保留给低概率的位串。 这与自然语言中的情况类似，常见的单词(如“a”...
交叉熵，相对熵（KL散度），互信息（信息增益）及其之间的关系
qq_41978536的博客
04-04 6261
刚刚查了点资料，算是搞清楚了相对熵与互信息之间的关系。在这里记录一下，后面忘记的话可以方便查阅。 首先，同一个意思的概念太多也是我开始搞混这些概念的原因之一。 首先说一下编码问题： 最短的平均编码长度 = 信源的不确定程度 / 传输的表达能力。 其中信源的不确定程度，用信源的熵来表示，又称之为被表达者，传输的表达能力，称之为表达者表达能力，如果传输时有两种可能，那表达能力就是log22=1log_...
信息论之从熵、惊奇到交叉熵、KL散度和互信息
SHIDACSDN的博客
04-15 238
一、熵(PRML) 考虑将A地观测的一个随机变量x，编码后传输到B地。 这个随机变量有8种可能的状态，每个状态都是等可能的。为了把x的值传给接收者，需要传输⼀个3⽐特的消息。注意，这个变量的熵由下式给出: ⾮均匀分布⽐均匀分布的熵要⼩。 如果概率分布非均匀，同样使用等长编码，那么并不是最优的。相反，可以根据随机变量服从的概率分布构建Huffman树，得到最优的前缀编码。 可以利⽤⾮均匀分布这...
谈谈：熵、交叉熵、互信息、KL散度
Matt_sh的博客
06-06 648
熵相关
kl散度定义_信息熵？互信息？KL散度？
weixin_39943868的博客
12-03 408
RL中熵相关的应用很多，主要整理一下信息熵、互信息以及KL散度，也算有一个简单整体的认识。熵？首先熵最开始是一个热力学的定义，表示系统混乱的程度，从日常也可以感觉到，使东西变得整齐与变得混乱的容易程度截然不同，因为我们总是很容易就把屋子搞得很“混乱”，但是搞整齐往往需要很大的“代价”~ 这样，越混乱不确定的程度越大，熵也就越大，因此整个环境会自发的朝着混乱的方向发展，也就是熵增原理。信息熵？信息熵...
信息论中熵 联合熵 条件熵 相对熵（KL散度）（交叉熵） 互信息 （信息增益）的定义 及关联
Forrest97的博客
06-03 4116
熵（Entropy）的理论知识 定义 在信息论中，熵被定义为随机变量的平均不确定度的度量。也是平均意义上描述随机变量所需的信息量的度量。 设XXX是一个离散型随机变量，其字母表（即概率论中的取值空间）为χ\chiχ。概率密度函数p(x)=Pr(X=x),x∈χp(x)=Pr(X=x), x\in\chip(x)=Pr(X=x),x∈χ， 则一个离散随机变量XXX的熵H(X)H(X)H(X)定义为 H(X)=−∑p(x)log⁡2p(x) H(X)=-\sum p(x)\log_{2} p(x) H(X)
相对熵和互信息
chen的博客
12-30 1138
相对熵（也称为KL 散度）和互信息是信息论中两个重要的概念。：衡量两个概率分布之间的差异或者信息损失。如果有两个概率分布 P 和 Q，相对熵被定义为 P 相对于 Q 的期望信息增益，通常表示为KLP∣∣Q。它不是对称的，即KLP∣∣QKLQ∣∣P。在实际应用中，KL 散度经常用于衡量模型预测与真实分布之间的差异。：描述了两个随机变量之间的相关性和依赖性。对于两个随机变量 X 和 Y，它们的互信息 I(X;Y) 表示在给定一个变量的信息的情况下，另一个变量的不确定性减少的程度。
【信息论】熵、交叉熵、互信息、KL散度（相对熵）
探索世界，改变世界
09-03 2891
熵 也称为信息熵或香农熵。 数学 对于离散随机变量X，可能的结果（状态）x_1，...，x_n，以比特为单位的熵定义为： 其中p（x_i）是X的第i个结果的概率。 应用       熵用于自动决策树构造。在树构建的每个步骤中，使用熵标准来完成特征选择。 基于最大熵原理的模型选择是从具有最高熵的竞争模型中得出的最佳状态。 交叉熵 直观 交叉熵用于比较两个概率分布。它告诉我...
信息量，信息熵，交叉熵，KL散度和互信息（信息增益）- 机器学习
jiangjiane
08-08 698
原文链接 https://blog.csdn.net/haolexiao/article/details/70142571
把互信息写成KL散度的形式
LiPan的博客
11-01 378
p(y)p(y)p(y)表示变量y的分布； p(y∣x)p(y|x)p(y∣x)表示已知x的情况下y的分布； KLKLKL表示两个分布之间的差异； ExE_{x}Ex​表示按变量x求期望。 由此可以看出，互信息其实就是：已知x之后y的分布 和 原始y分布 之间差异的期望。 ...
自信息、熵、联合熵、条件熵、互信息、交叉熵、KL散度
AIHUBEI的博客
03-07 2200
文章目录1、熵1.1 **自信息和熵**1.2 **联合熵和条件熵**2、互信息3、交叉熵和散度3.1 **交叉熵 **3.2 **KL散度**3.3 **JS散度**4、熵编码 1、熵 在信息论中，熵用来衡量一个随机事件的不确定性。在物理学中，表示一个热力学系统的无序程度。 1.1 自信息和熵 自信息（Self Information）表示一个随机事件所包含的信息量. 一个随机事件发生的概率越高...
知识蒸馏交叉熵和KL散度
07-19
知识蒸馏是一种机器学习技术，通常用于将一个大型复杂的模型（称为教师模型）的知识传授给一个小型轻量级模型（称为学生模型）。在这个过程中，两个模型之间的差异主要是通过交叉熵损失函数来衡量的。交叉熵（Cross-Entropy Loss）是一种常用的分类损失函数，它衡量了学生模型预测结果与真实标签之间的差异。 当涉及到知识蒸馏时，特别是在教师模型输出概率分布的情况下，除了标准的交叉熵外，还常常会引入Kullback-Leibler (KL) 散度。KL散度是一种度量两个概率分布之间差异的统计量。在蒸馏过程中，教师模型的概率分布作为“软目标”（soft labels），而学生模型尝试接近这个分布，KL散度则充当了一个桥梁，让学生模型尽量模仿老师的不确定性。 简而言之，交叉熵关注的是学生模型的分类决策是否接近实际标签，而KL散度则更注重学生模型对于输出可能性的理解是否接近老师模型。结合这两者，可以提高学生模型的学习效率和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值