信息增益、经验熵及经验条件熵的计算

最新推荐文章于 2023-10-08 11:42:59 发布
最新推荐文章于 2023-10-08 11:42:59 发布
阅读量4.8k 收藏 10
点赞数 2
分类专栏： 面试 机器学习 文章标签： 机器学习 统计学 信息熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43157453/article/details/108487190
版权

信息增益、经验熵及经验条件熵的计算

摘自李航的《统计学习方法》

在这里插入图片描述
在这里插入图片描述

yvx
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
初识人工智能--决策树算法.pdf
02-27
初识⼈⼯智能--决策树算法 机器学习中分类和预测算法的评估： * 准确率 * 速度 * 强壮⾏ * 可规模性 * 可解释性 1. 什么是决策树/判定树（decision tree)? 判定树是⼀个类似于流程图的树结构：其中，每个内部结点表⽰在⼀个属性上的测试，每个分⽀代表⼀个属性输出，⽽每个树叶结点代表类 或类分布。树的最顶层是根结点。 2. 机器学习中分类⽅法中的算法 朴素贝叶斯(Naive Bayes, NB) Logistic回归(Logistic Regression, LR) 决策树（Decision Tree, DT) –>本⽂主要讲述决策树 ⽀持向量机（Support Vector Machine, SVM） 3. 构造决策树的基本算法 分⽀ 根结点 结点 树叶 3.1 熵（entropy）概念： 信息和抽象，如何度量？ 1948年，⾹农提出了 "信息熵(entropy)"的概念 ⼀条信息的信息量⼤⼩和它的不确定性有直接的关系，要搞清楚⼀件⾮常⾮常不确定的事情，或者是我们⼀⽆所知的事情，需要了解⼤量信 息==>信息量的度量就等于不确定性的多少例⼦：猜世界杯冠军，假如⼀⽆所知，猜多少次？ 每个队夺冠的⼏率不是相等的 ⽐特(bit)来衡量信息的多少 变量的不确定性越⼤，熵也就越⼤ 3.1 决策树归纳算法 （ID3） 1970-1980， J.Ross. Quinlan, ID3算法 选择属性判断结点 信息获取量(Information Gain)：Gain(A) = Info(D) - Infor_A(D) 通过A来作为节点分类获取了多少信息 计算过程：先单独计算Info(D),以⽬标函数为计算基点，总实例数为14，其中no的实例数为5，yes的实例数为9.通过信息熵公式计算，可 得： 再计算包含age属性时的Info_age_(D),其中age可以划分为三个阶段：youth：占实例总数的5/14，middle_aged占4/14，senior占 5/14，继续通过信息熵公式计算，得到Info_age_(D),再通过信息获得量公式计算出最后的结果。 类似，Gain(income) = 0.029, Gain(student) = 0.151, Gain(credit_rating)=0.048 所以，选择age作为第⼀个根节点（取⼤的） 划分好跟节点后，排除已经称为节点的属性，继续通过该⽅法，可以继续划分结点。若出现划分好的表格中的⽬标函数为同⼀类时（eg： yes），便不需要继续划分。 重复以上步骤。。。 算法： * 树以代表训练样本的单个结点开始（步骤1）。 * 如果样本都在同⼀个类，则该结点成为树叶，并⽤该类标号（步骤2 和3）。 * 否则，算法使⽤称为信息增益的基于熵的度量作为启发信息，选择能够最好地将样本分类的属性（步骤6）。该属性成为该结点的"测试"或"判定"属性（步骤7 ）。在算法的该版本中， * 所有的属性都是分类的，即离散值。连续属性必须离散化。 * 对测试属性的每个已知的值，创建⼀个分枝，并据此划分样本（步骤8-10）。 * 算法使⽤同样的过程，递归地形成每个划分上的样本判定树。⼀旦⼀个属性出现在⼀个结点上，就不必该结点的任何后代上考虑它（步骤13）。 * 递归划分步骤仅当下列条件之⼀成⽴停⽌： * (a) 给定结点的所有样本属于同⼀类（步骤2 和3）。 * (b) 没有剩余属性可以⽤来进⼀步划分样本（步骤4）。在此情况下，使⽤多数表决（步骤5）。 * 这涉及将给定的结点转换成树叶，并⽤样本中的多数所在的类标记它。替换地，可以存放结 * 点样本的类分布。 * (c) 分枝 * test_attribute = a i 没有样本（步骤11）。在这种情况下，以 samples 中的多数类 * 创建⼀个树叶（步骤12） 3.1 其他算法： C4.5(Quinlan):它能够处理连续型属性或离散型属性的数据；能够处理具有缺失值的属性数据；使⽤信息增益率⽽不是信息增益作为决策树 的属性选择标准；对⽣成枝剪枝，降低过拟合。 如下为决策树算法框架： C4.5中⽤到的⼏个公式： <1> 训练集的信息熵 其中 m代表分类数，pi为数据集中每个类别所占样本总数的⽐例。 <2> 划分信息熵—-假设选择属性A划分数据集S，计算属性A对集合S的划分信息熵值 case 1：A为离散类型，有k个不同取值，根据属性的k个不同取值将S划分为k各⼦集{s1 s2 …sk}，则属性A划分S的划分信息熵为：(其中 "Si" "S" 表⽰包含的样本个数) case 2: A为连续型数据，则按属性A的取值递增排序，将每对相邻值的中点看作可能的分裂点，对每个可能的分裂点，计算： 其中，SL和SR分别对应于该分裂点划分的左右两部分⼦集，选择En
决策树之用信息增益选择最优特征
躺平yyds的博客
05-12 2670
决策树之用信息增益选择最优特征 熵 ​ 熵的定义: 熵（shāng），热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 在决策树中，信息增益是由熵构建而成，表示的是[随机变量的不确定性]，不确定性越大，代表着熵越大。随机变量的取值等概率分布时，相应的熵最大，换句话说，特征的所有取值概率相同时，包含的信息是最多的，就是不确定性最大的情况。 熵和随机变量的分布相关，所以写成： H(p)=−∑i=1npilog⁡pi H(p)=-\sum_{i=1}^{n} p_{i
2021-04-21   决策树的ID3算法
weixin_52484168的博客
04-22 629
决策树的ID3算法 在编写代码之前，先对数据集进行属性标注。 年龄：0代表青年，1代表中年，2代表老年； 有工作：0代表否，1代表是； 有自己的房子：0代表否，1代表是； 信贷情况：0代表一般，1代表好，2代表非常好； 类别(是否给贷款)：no代表否，yes代表是。 创建数据集，计算经验熵的代码如下： ...
香农熵计算
03-21
c++ 香农 熵计算 联合熵 条件熵等等
大数据分析之分类算法.pdf
12-24
⼤数据分析之分类算法 数据分析之决策树ID3算法 什么是分类算法？ 分类算法跟之前的聚类都是让不同对象个体划分到不同的组中的。但是分类不同之处在于类别在运算之前就已经是确定的。 分类是根据训练数据集合，结合某种分类算法，⽐如这篇讲的ID3算法来⽣成最终的分类规则，这样当提供⼀个对象的时候我们可以根据它 们的特征将其划分到某个分组中。 决策树ID3算法是分类中的经典算法，决策树的每⼀层节点依照某⼀确定程度⽐较⾼的属性向下分⼦节点，每个⼦节点在根据其他确定程度 相对较⾼的属性进⾏划分，直到 ⽣成⼀个能完美分类训练样例的决策树或者满⾜某个分类终⽌条件为⽌。 术语定义： ⾃信息量：设信源X发出a的概率p(a),在收到符号a之前，收信者对a的不确定性定义为a的⾃信息量I(a)=-logp(a)。 信息熵：⾃信息量只能反映符号的不确定性，⽽信息熵⽤来度量整个信源整体的不确定性，定义为：H(X)= 求和(p(ai) I(ai)) 条件熵：设信源为X，收信者收到信息Y，⽤条件熵H(X"Y)来描述收信者收到Y后X的不确定性的估计。 平均互信息量：⽤平均互信息量来表⽰信息Y所能提供的关于X的信息量的⼤⼩。 互信息量I(X"Y)=H(X)-H(X"Y) 下边的ID3算法就是⽤到了每⼀个属性对分类的信息增益⼤⼩来决定属性所在的层次，信息增益越⼤，则越 应该先作为分类依据。 ID3算法步骤 a.对当前例⼦集合，计算属性的信息增益； b.选择信息增益最⼤的属性Ai(关于信息增益后⾯会有详细叙述) c.把在Ai处取值相同的例⼦归于同于⼦集，Ai取⼏个值就得⼏个⼦集 d.对依次对每种取值情况下的⼦集,递归调⽤建树算法，即返回a， e.若⼦集只含有单个属性，则分⽀为叶⼦节点，判断其属性值并标上相应的符号，然后返回调⽤处，或者树达到规定的深度，或者⼦集所有 元素都属于⼀个分类都结束。 举例分析 世界杯期间我和同学⼀起去吃了⼏回⼤排档，对那种边凑热闹边看球的氛围感觉很不错，但虽然每个夏天我都会凑⼏回这种热闹，但肯定并 不是所有⼈都喜欢凑这种热闹的，⽽应⽤决策树算法则能有效发现哪些⼈愿意去，哪些⼈偶尔会去，哪些⼈从不愿意去； 变量如表1所⽰，⾃变量为年龄、职业、性别；因变量为结果（吃⼤排档的频率）。 年龄A 职业B 性别C 结果 20-30 学⽣ 男 偶尔 30-40 ⼯⼈ 男 经常 40-50 教师 ⼥ 从不 20-30 ⼯⼈ ⼥ 偶尔 60-70 教师 男 从不 40-50 ⼯⼈ ⼥ 从不 30-40 教师 男 偶尔 20-30 学⽣ ⼥ 从不 20以下 学⽣ 男 偶尔 20以下 ⼯⼈ ⼥ 偶尔 20-30 ⼯⼈ 男 经常 20以下 学⽣ 男 偶尔 20-30 教师 男 偶尔 60-70 教师 ⼥ 从不 30-40 ⼯⼈ ⼥ 偶尔 60-70 ⼯⼈ 男 从不 计算过程： 1、⾸先计算结果选项出现的频率： 表2 结果频率表 从不p1 经常p2 偶尔p3 0.375 0.125 0.5 2、计算因变量的期望信息： E(结果)=-(p1*log2(p1)+p2*log2(p2)+p3*log2(p3) ) =-(0.375*log2(0.375)+0.125*log2(0.125)+0.5*log2(0.5) ) =1.406 注：这⾥Pi对应上⾯的频率 3、计算⾃变量的期望信息(以年龄A为例)： E(A)= count(Aj)/count(A)* (-(p1j*log2(p1j)+p2j*log2(p2j)+p3j*log2(p3j) )) 3.1公式说明： Count(Aj):年龄A第j个选项个数； j是下⾯表3五个选项任⼀ 表3 年龄记录数量表 选项 20-30 20以下 30-40 40-50 60-70 数量 5 3 3 2 3 Count(A):年龄总记录数 p1j =count(A1j)/count(Aj) :年龄A第j个选项在结果中选择了"从不"的个数占年龄A第j个选项个数的⽐例； p2j =count(A2j)/count(Aj) :年龄A第j个选项在结果中选择了"偶尔"的个数占年龄A第j个选项个数的⽐例； p3j =count(A3j)/count(Aj) :年龄A第j个选项在结果中选择了"经常"的个数占年龄A第j个选项个数的⽐例； 3.2公式分析 在决策树中⾃变量是否显著影响因变量的判定标准由⾃变量选项的不同能否导致因变量结果的不同决定，举例来说如果⽼年⼈都从不去⼤排 档，中年⼈都经常去，⽽少年都偶尔去，那么年龄因素肯定是决定是否吃⼤排档的主要因素； 按照假设，即不同年龄段会对结果产⽣确定的影响，以表3年龄在20以下的3个⼈为例，假设他们都在结果中选择了"偶尔"选项，此时: p2j =count(A2j)/count(Aj)=1， p1j =co
机器学习（四）：决策树
tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物
04-14 2186
引言：     决策树是一种基本的分类与回归方法，本文主要讨论用于分类的决策树。     决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。     决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。     ...
机器学习笔记十：各种熵总结
热门推荐
谢小小XH
03-18 3万+
信息熵，联和熵，条件熵，相对熵，互信息
经验熵和经验条件熵
chen的博客
09-24 828
当我们使用观测数据来计算经验熵和经验条件熵时，常见的情景是分类问题。让我们通过一个简单的分类问题来说明这两个概念。假设我们有一个水果分类器，它根据水果的颜色（红、绿、黄）和形状（圆、椭圆）将水果分为三类：苹果、香蕉和橙子。我们有一些观测数据来估计水果的颜色和形状的概率分布，并计算经验熵和经验条件熵。P苹果52​P橙子52​P香蕉51​P红52​P绿52​P黄51​P圆52​P椭圆53​H水果−∑P水果⋅log2​P。
信息增益，经验熵和经验条件熵——决策树
最新发布
laosao_66的博客
10-08 917
通俗上讲，信息增益就是在做出判断时，该信息对你影响程度的大小。比如你今天考虑要不要去郊游，你会考虑天气，距离，心情，是否空闲等等因素，非常纠结，但是如果信息中的天气显示今天暴雨，那大概率就不郊游了，那这个因素的信息增益就很强。
经验条件熵公式的推导
yaokun2012的博客
08-23 1万+
李航《统计学习方法》中，P62页公式5.8： 计算特征A对数据集D的经验条件熵: 此处，给出条件熵（）的定义:X给定条件下Y的条件概率分布的熵对X的数学期望： 在书中P61页下方给出了各类的定义： 设训练数据集为D，表示样本容量，即样本个数，设有K个类，。为属于类的样本个数，，设特征A有n个不同 的取值{},根据特征A的取值将D划分为n个子集，为的样本个数，，记子集中属于类的样本的...
信息熵.zip_信息 信息熵_信息增益_信息熵_信息熵计算_条件熵
07-15
可以计算信息熵、信息熵增益、以及选取较大增益属性作为分类条件
改进经验模态分解与排列熵算法的MATLAB程序（第二部分MPE熵程序)
10-15
给出9个信号多尺度排列熵的程序与自己对其内容的理解与解释，在第一部分基础上，为MEEMD提供铺垫，后边会陆续发布第三部分的内容。 对应视频百度网盘链接：https://pan.baidu.com/s/1SLsNLkBckliNyZECiNVILQ?pwd=amaq 提取码：amaq
决策树的构建及可视化——帮自己配副隐形眼镜
12-22
前文简介 上一篇文章中主要介绍了以下几方面： 决策树的简介 决策树的流程 熵的定义及如何计算熵 信息增益的定义及如何计算信息增益 依据信息增益划分数据集 本文以一个新的数据集(隐形眼镜数据集)为基础实现构建决策树、决策树的保存与加载、利用决策树分类、决策树的可视化，前文的知识不在过多概述，着重介绍这四个方面。 先大致了解一下数据集： 这份数据源至UCI数据库，其共有4个特征分别为age(年龄)、prescript(症状)、astigmatic(闪光)、tearRate(泪液产生率)以及一个分类标签class，该分类包含硬材质、软材质和不应配带三种。 为了方便处理，对样本做以下处理： age：
基于光照条件的空间相机增益在轨自动调整
02-05
空间相机摄影过程中，通常采用较小的固定增益以避免图像饱和，导致获取的图像存在整体偏暗、图像层次不丰富等问题。提出一种基于光照条件的空间相机增益在轨自动调整方法，根据当前的航天器位置和时间等实时计算星下点处的太阳天顶角，通过非线性拟合建立太阳天顶角与对目标最大反射率对应的地物成像时相机入瞳辐亮度之间的函数关系，进而完成对增益的实时计算和调整。与卫星工具包(STK)仿真和MODTRAN计算结果的对比实验表明，在太阳天顶角取[20°，70°]时辐亮度拟合误差小于等于0.3 W/(m2·sr)，相对误差小于等于2.2%。计算和仿真得到太阳天顶角之差约为0.39°(3σ)。在轨成像实验结果表明，太阳天顶角为62.5°时增益调整后图像灰度层次从98提高到183，信息熵提高约19.2%，图像灰度层次更加丰富，使目标更容易辨识。
经验模态分解+样本熵matlab程序代码
09-11
利用经验模态分解提取IMF向量与残余向量的matlab程序，可以直接运行emdplus.m，亲测有效，不能运行不要钱~，主函数与样本熵函数samp经过了分析，里面有详细注解，EMD.m函数用的歪国人写的的~目前也是较为常用的版本了
条件熵的定义
u010041824的专栏
04-18 8580
最大熵模型中使用条件熵作为模型基础，决策树算法中利用经验条件熵作为计算信息增益的基础。当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别成为经验熵和经验条件熵。维基百科中也有对条件熵的定义和相关公式的描述。 李航统计学习方法中最大熵模型的定义为： 决策树求信息增益时的经验条件熵的定义为： 可以看得出条件熵和经验条件熵公式是一样的，只是概
机器学习实战----决策树
bailixuance的博客
12-14 517
一、简介 python3.6 参考： Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起 https://blog.csdn.net/c406495762/article/details/75663451 【机器学习】决策树（上）——从原理到算法实现 https://blog.csdn.net/herosofearth/article/details/5234...
决策树
chbxw
11-20 438
一、决策树概念
机器学习系列文章-决策树
hezhing
01-24 1429
决策树 由于我们是使用sklearn对决策树代码进行实现，所以并不是很关心其原理部分。但我仍需要对其进行一定的了解。通过查询资料，去学习了下决策树的原理，这里对其原理进行简要介绍。 注：这里决策树的原理是通过这个网站来学习的，这里只做记录。 机器学习实战教程（二）：决策树基础篇之让我们从相亲说起 (cuijiahua.com) 决策树原理 决策树是一种基本的分类与回归方法。决策树可以这样理解为：由决策树的根结点到叶结点的每一条路径构建一条规则，路径上内部结点的特征对应着规则的条件，而叶结点的类对应规则的
信息增益、信息增益比和熵之间的比较
06-12
信息增益和信息增益比的计算都基于熵的概念，因此熵在决策树算法中具有重要作用。 综上所述，信息增益、信息增益比和熵都是决策树算法中常用的指标，用于选择最优的划分属性。信息增益和信息增益比都考虑了属性对子...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值