傻子都能看懂的——条件熵

最新推荐文章于 2024-07-24 17:03:56 发布
最新推荐文章于 2024-07-24 17:03:56 发布
阅读量5.9k 收藏 16
点赞数 3
分类专栏： 数学 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38890412/article/details/108165423
版权

引言

关于信息熵请看之前一篇博客：傻子都能看懂的——信息熵（香农熵）

条件熵 H(Y|X) 表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y|X) 定义为 X 给定条件下 Y 的条件概率分布的熵对  X 的数学期望。

如何理解这个数学期望，请看下图公式第二步，是不是一个经典的数学期望式子？

第二步到第三步，也就是条件概率到联合概率：P(x,y)=P(x∩y)=P(x|y)*P(y)

例子

假如我们有上面数据：

设随机变量Y&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
越来越胖的GuanRunwei
关注
专栏目录
订阅专栏
熵、联合熵、条件熵
qq_42148307的博客
06-14 3430
离散型随机变量的熵：熵是一个随机变量不确定性的度量，一个随机变量的熵越大，意味着不确定性越大，换言之，该随机变量包含的信息量越大。必然事件是确定无疑的，并不含有不确定性，所以必然事件的熵应该是0，也就是说，必然事件不含有信息量。离散型的二维随机变量(X,Y)的联合熵为：如果想要考虑两个随机变量组合一起的不确定性，得用到联合熵。并且：因此我们可以得到：。条件熵H(Y|X)表示在已知事件X的条件下，事件Y的不确定性，即X发生的前提下，Y发生的熵。随机变量X = [0.1;0.7;0.5;0.1]，随机变量Y =
熵、信息量、条件熵、联合熵、互信息简单介绍
qq_43428929的博客
05-14 2204
近期在看对比学习论文，发现有不少方法使用了互信息这种方式进行约束，故在此整理一下网上关于互信息的相关内容。
条件熵和信息熵
最新发布
欢迎来到我的博客
07-24 816
设随机变量XYXY是空间X×YX×Y中的一对随机变量。若他们的联合分布是pxypxy，边缘分布分别是pxpx和和和pypyIX;YDKL​pxy∥px⊗py))其中，DKLDKL​为KL散度(Kullback–Leibler divergence)。注意，根据KL散度的性质，若联合分布pxyp(x,y)pxy等于边缘分布pxp(x)
理解条件熵
lgb_love的专栏
07-23 1609
https://blog.csdn.net/xwd18280820053/article/details/70739368   1  信息熵以及引出条件熵   我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望   这个还是比较抽象，下面我们解释一下...
文本分类入门（十一）特征选择方法之信息增益
lovejuan1314的专栏
04-23 1173
摘自：[url]http://www.blogjava.net/zhenandaci/archive/2009/03/24/261701.html[/url] 前文提到过，除了开方检验（CHI）以外，信息增益（IG，Information Gain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。开方检验...
通俗理解条件熵
热门推荐
AI_盲的博客
04-25 4万+
1  信息熵以及引出条件熵 我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望 这个还是比较抽象，下面我们解释一下： 设有随机变量（X,Y），其联合概率分布为
条件熵
hlang8160的博客
01-04 721
1  信息熵以及引出条件熵 我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望 这个还是比较抽象，下面我们解释一下： 设有随机变量（X,Y），其联合概率分布为 
机器学习决策树算法中特征选项的算法实现——信息熵
12-22
机器学习决策树算法中特征选项的算法实现——信息熵 首先我们将信息熵的定义进行阐述: 熵经验熵 我们这里以网上数据贷款申请为例:数据来自（https://blog.csdn.net/c406495762/article/details/75663451） 在...
矿井内因火灾的安全评价研究——基于熵值法和突变理论-论文
07-08
针对矿井内因火灾的突发性、不确定性和高危害性等特点，提出熵值法和突变理论相结合的矿井内因火灾安全评价方法。选取人、物、环境和管理4个方面的因素建立了4级共20个评价指标的矿井内因火灾安全评价指标体系，运用...
计算X与Y的熵、联合熵、条件熵
11-24
C++代码： 离散二维随机变换熵的计算 （1）利用random函数和归一化方法构造一个二维离散随机变量（X，Y）； （2）分别计算X与Y的熵、联合熵、条件熵：H（X）、 H（Y）、H（X,Y）H（X|Y）、I（X|Y）；
【机器学习】用相亲样本数据集详解条件熵的计算过程
04-02
【机器学习】用相亲样本数据集详解条件熵的计算过程。 使用的样本集简介如下： 样本集简介： 样本集有8个example样本 每个样本有3个特征(身高，房子，性格)，1个分类结果refuse或者agree 身高取值范围={high, low} 房子取值范围={no, yes} 性格取值范围={good, bad} 分类标签=相亲结果={refuse,agree} 计算条件熵的过程详见文档。
数学建模——————熵值取权法
08-16
### 数学建模——熵值取权法与层次分析法结合的应用 #### 一、引言 在现代管理和决策支持领域，如何客观准确地评估一个地区或企业的竞争力变得尤为重要。本文探讨了一种结合层次分析法（Analytic Hierarchy ...
【概率论】——熵、条件熵、信息增益
Giyn
04-24 3058
熵的含义： 在信息论中，熵（英语：entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）——维基百科。 我们可以直观地把熵理解为一个事件的结果的不确定性，或者信息量，其单位为 bit。 熵的计算： 熵描述的是个事件的不确定性，如...
条件熵的定义
u010041824的专栏
04-18 8632
最大熵模型中使用条件熵作为模型基础，决策树算法中利用经验条件熵作为计算信息增益的基础。当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别成为经验熵和经验条件熵。维基百科中也有对条件熵的定义和相关公式的描述。 李航统计学习方法中最大熵模型的定义为： 决策树求信息增益时的经验条件熵的定义为： 可以看得出条件熵和经验条件熵公式是一样的，只是概
条件熵认识
chen的博客
09-24 1293
条件熵（Conditional Entropy）是信息论中的一个概念，用于表示在已知某一条件下，随机事件的不确定性或信息量。它通常用H(Y|X)表示，表示在已知随机变量X的条件下，随机变量Y的不确定性。
通俗理解条件熵-数学
kyle1314608的博客
03-12 1926
前面我们总结了信息熵的概念通俗理解信息熵 - 知乎专栏,这次我们来理解一下条件熵。我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下：我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望这个还是比较抽象，下面我们解释一下：设有随机变量（X,Y），其联合概率分布为 条件熵H（Y|X）表示在已知随机变量X的条件下随机变量Y的不确定...
信息熵、条件熵——学习笔记
Shenquanle的博客
10-25 853
学习信息熵和条件熵，有例子，方便理解。
综合评价——区位熵分析 C++代码
05-20
以下是C++代码实现区位熵分析： ```cpp #include #include using namespace std; double calc_entropy(double* p, int n) { double entropy = 0.0; for(int i = 0; i ; i++) { entropy += p[i] * log2(p[i]); ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

越来越胖的GuanRunwei

祝老板们身体健康，财源广进！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值