信息熵，相对熵，交叉熵, 条件熵

最新推荐文章于 2022-04-10 10:43:52 发布
最新推荐文章于 2022-04-10 10:43:52 发布
阅读量373 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Innovat1on/article/details/87946620
版权

信息熵：表示分布的不确定性
随机变量的取值个数越多，状态数也就越多，信息熵就越大，混乱程度就越大。当随机分布为均匀分布时，熵最大
在这里插入图片描述
相对熵：有两个分布p,q，其中p为真实数据分布，q为相似的分布，那么相对熵就是两个分布之间的距离
在这里插入图片描述
交叉熵：用非真正的数据分布q来进行求解熵（基于原始分布P概率）
在这里插入图片描述

可见，交叉熵-信息熵=相对熵

条件熵：
条件熵 H(Y|X) 表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y|X) 定义为 X 给定条件下 Y 的条件概率分布的熵对 X 的数学期望：

半夜起来敲代码
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失函数
晴明大大的创作中心
04-29 3137
熵 什么是熵呢？ 简单来讲，熵就是表示一个事件的确定性程度如何。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。 比如假设事件Q，有A、B、C三种情况都是有概率性发生的，但是不定。如果其中A比B、C两种种发生的概率更大，那么事件Q发生A的可能性更加确定，换句话说，不确定性更小；如果其中A与B、C两种发生的概率都相等，那么事件Q发生A、B、C的情况都有可能，不确定会发生哪一个，换句话说，不确定性更大。 所以确定性程度越大（即不确定性程度越低），熵越小；确定性程度越低（即不确定性程度
机器学习之信息论
YD_2016的博客
01-19 471
条件熵： 信息熵是对观测过程中变量的不确定性的度量，基本公式为： 当X服从均匀分布时，H(x)取得最大值，这也符合感性认识。 从公式可以看出，这是一个熵值的期望，约束为随机变量X，可理解为X约束下对H(Y)的影响，因此这种信息熵被记为H(Y|X)。 信息增益： 有上述公式，感性上容易得出H(Y)大于等于H(Y|X)，因为提供了X的信息，Y的熵值应该变小或者不变，因此有信息增益: G越大，表示...
信息熵、相对熵和交叉熵
fuchenqianxiao的博客
04-10 1733
此文章为了解交叉熵的小记，具体详细讲解可移至文末处参考文章 信息熵 信息的本质：信息是用来消除随机不确定性的东西； 信息量的大小与信息发生的概率成反比。概率越大，信息量越小。概率越小，信息量越大。 某一事件发生的概率为P(x)，其信息量I(x)为： I(x)=−log(P(x)) I(x) = -log(P(x)) I(x)=−log(P(x)) 信息熵用来表示所有信息量的期望，其公式表示为 H(x)=−∑i=1nP(xi)log(P(xi)))(X=x1,x2,x3...,xn) H(x) = -\s
信息熵
满腹的小不甘
07-30 4397
1.简介 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。 熵越高，信息的不确定性越大，预测的难度越大，则能传输越多的信息； 熵越低，信息的不确定性越小，即信息很容易预测到，则意味着传输的信息越少。 如：文件压缩，压缩掉冗余内容 如果压缩是无损的，即通过解压缩可以百分之百地恢复初始的消息内容，那么压缩后的消息携带的信息和未压缩的原始消息是一样的多。而压缩后的消息可以通过较少的比特传递，因此压缩消息的每个比特能携带更多的信息，也就是说压缩信息的熵更
信息熵，交叉熵和相对熵
sunflower_sara的机器学习园地
07-23 753
目录 0.总述 1.信息熵 2.交叉熵 3.相对熵/KL散度(Kullback-Leibler divergence), 亦可称为KL距离 4.举例 5.参考资料 0.总述 现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。 按照真实分布p来编码样本所需的编码长度的期望为，这就是信息熵H( p ) 按照不真实分布q来编码样本所需的编码长度的期望为，这就是所谓的...
信息熵的C语言实现
04-14
关于求熵、相对熵、互信息的C语言一般算法，好资源大家共享！ 关于求熵、相对熵、互信息的C语言一般算法，好资源大家共享！
使用综合熵准则的ECG降噪最优基波选择
03-08
熵，互信息，相对熵以及用于优化小波选择的比较信息熵。 实验验证是基于从MIT-BIH心律失常数据库中选择的16位受试者的ECG信号进行的。 通过四个过滤性能指标，即输出信噪比（SNRo），均方根误差（RMSE），均方根差...
信息熵 交叉熵 相对熵 条件熵
lmm6895071的专栏
08-18 1685
根据香农公式，信息量等于log(1p)log(\frac{1}{p})； 交叉熵常作为机器学习中的损失函数。 信息熵 熵的本质是信息量的期望： H(p)=∑ip(i)∗log(1p(i)=−∑ip(i)∗log(p(i)H(p)=\sum_{i} p(i)*log(\frac{1}{p(i)}\\ =-\sum_{i} p(i)*log({p(i)} 其中，p 是真实的分
机器学习中的熵、条件熵、相对熵(KL散度)和交叉熵
u014630987的博客
04-26 2329
该文章转载自详解机器学习中的熵、条件熵、相对熵和交叉熵 文章目录1、信息熵 (information entropy)2、条件熵 (Conditional entropy)3、相对熵 (Relative entropy)，也称KL散度 (Kullback–Leibler divergence)4、交叉熵 (Cross entropy)5、总结6、参考 1、信息熵 (information entr...
信息熵，交叉熵，相对熵
weixin_45254190的博客
10-13 220
信息熵：熵是用来衡量一个信息的混乱程度的，是对一个不确定程度的描述。公式如下： 在信息论中，信息熵是用于衡量信息量的一个指标。信息越是有序，信息熵就越低；如果信息越是混乱，信息熵就越高。 相对熵（也叫KL散度）：是用来描述两个概率分布P和Q差异的一种方式。 相对熵越小，证明两个分布之间的的差异就越小。 交叉熵（也叫JS散度）：主要度量两个概率分布间的差异性信息。 相对熵是用来描述两个概率分布...
关于信息论中熵、相对熵、条件熵、互信息、典型集的一些思考
weixin_30735391的博客
08-09 2084
1. 绪论 0x1：信息论与其他学科之间的关系 信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度或算法复杂度）、统计推断（奥卡姆剃刀，最简洁的解释最佳）以及概率和统计（关于最优化假设检验与估计的误差指数）等学科中都具有奠基性的贡献。如下图 这个小节，我们简要介绍信息论及其关联的思想的来龙去脉，提纲挈领地给出一个总的框架。 1. 电子工程（通信理论） 香农（shan...
通俗理解信息熵、交叉熵和相对熵
Better_Y0808的博客
12-03 502
通俗理解信息熵、交叉熵和相对熵 （一）觉得这两篇博客讲的还不错，本文只进行了简单的总结。https://blog.csdn.net/saltriver/article/details/53056816 https://www.cnblogs.com/liaohuiqiang/p/7673681.html 1. “信息是用来消除随机不确定性的东西” 所以信息熵是消除不确定性所需信息量的度量，也即未知...
一句话记住：信息熵 相对熵(KL散度) 交叉熵 条件熵 联合熵 及其关系
choose_c的博客
05-26 686
信息熵：H(X) ，概率为Pi的事件包含的信息量。 交叉熵：，使用的分布表示的分布所使用的信息量。 相对熵：,使用的分布表示的概率所多使用的信息量。 关系：信息熵+相对熵=交叉熵 条件熵：，已知事件X发生，Y事件发生包含的信息量。 联合熵：,事件X,Y共同发生包含的信息量。 关系：信息熵+条件熵=联合熵 ...
【机器学习基础】信息熵，联合熵，条件熵，互信息，相对熵，交叉熵
Tuzi_bo的专栏
04-25 6563
目录 1 信息 2 信息熵 3 条件熵、互信息 3.1 条件熵 3.2 互信息 3.3 熵之间的关系推导与证明 4 相对熵 5 交叉熵 6 参考链接 在机器学习中，信息熵(Entropy)是一个非常重要的概念，因为围绕着熵有着许许多多的应用和算法。信息熵的概念是由香农在1948年提出的，熵这个概念最初源于热力学，热力学中...
信息论中的熵（信息熵，联合熵，交叉熵，互信息）和最大熵模型
weixin_30345577的博客
02-16 520
摘要： 　　1.信息的度量 　　2.信息不确定性的度量 内容： 1.信息的度量 　　直接给出公式，这里的N(x)是随机变量X的取值个数，至于为什么这么表示可以考虑以下两个事实： 　　（1）两个独立事件X,Y的联合概率是可乘的，即，而X,Y同时发生的信息量应该是可加的，即，因此对概率取了负对数（保证非负） 　　（2）一个时间发生的概率越大，其信息量越小，因此对概率取了负对数（保证非负...
一文总结条件熵、交叉熵、相对熵、互信息
Abner
09-07 5532
条件熵：H(Y|X)表示在已知随机变量X的条件下，随机变量Y的不确定性，H(Y|X)定义为：举个例子：有一堆西瓜，已知这堆西瓜的色泽，以及每种色泽对应好瓜和坏瓜的个数，如下所示，设X表示色泽，Y表示好瓜或者坏瓜。则：这个例子就是计算条件熵的一个过程，现在证明条件熵公式：有很多书上的条件熵是这么定义的，如果继续化简就可以得到我们上面定义的条件熵，接着化简：得证！信息增益：，表示X出现后随机变量Y的不
数学（三）信息熵、相对熵(KL散度)和交叉熵
更木的博客
01-30 2194
本文通过一个通俗易懂的例子来对信息熵、相对熵和交叉熵进行介绍，从生活实例到公式推导，希望能够帮助到大家~
相对熵（KL散度）
热门推荐
ACdreamer
03-26 8万+
今天开始来讲相对熵，我们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反 之就越高。下面是熵的定义   如果一个随机变量的可能取值为，对应的概率为，则随机变 量的熵定义为                  有了信息熵的定义，接下来开始学习相对熵。   Contents      1. 相对熵的认识    2. 相对熵的性质    3. 相
信息熵、交叉熵、互信熵
最新发布
05-13
信息熵、交叉熵和互信息熵都是信息论中常用的概念，它们都是用来度量信息的不确定性和随机性的。 信息熵是用来度量一个随机变量的不确定性，它的定义为：$H(X)=-\sum_{i=1}^{n}p(x_i)\log_2p(x_i)$，其中 $p(x_i)$ ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值