决策树熵公式推导

最新推荐文章于 2021-10-26 23:15:19 发布
最新推荐文章于 2021-10-26 23:15:19 发布
阅读量1.4k 收藏 5
点赞数
分类专栏： 机器学习 学习笔记 Python 文章标签： 人工智能 机器学习 决策树 香农熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/StarCoder_WangYue/article/details/90770217
版权

学习打卡内容：

  • 学习Datawhale对《李宏毅机器学习》决策树章节补充的内容：Additional References(熵的理解)
  • 个人需得推导其中的公式，对熵的概念理解透彻
  • 计算负责人提供的数据集的shangnonEnt

 

                                                   

2 熵

考虑另一个问题，对于某个事件，有nn种可能性，每一种可能性都有一个概率p(xi)p(xi) 
这样就可以计算出某一种可能性的信息量。举一个例子，假设你拿出了你的电脑，按下开关，会有三种可能性，下表列出了每一种可能的概率及其对应的信息量

最低0.47元/天 解锁文章
StarCoder_Yue
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
决策树信息熵数理剖析
luodoudoudou的博客
05-28 584
**决策树信息熵数理剖析** 信息熵记录拓展决策树 张⼀极 ...
深度学习基础-决策树算法-熵如何计算举例
中科院AI算法工程师的博客
01-07 9091
↑ 点击上方【计算机视觉联盟】关注我们 目录 0 机器学习中分类和预测算法的评估： 1 什么是决策树/判定树decision tree？  2 决策树“买电脑”实际例子 3熵（entropy）概念： 4 决策树归纳算法（ID3）     4.1递归算法： 5 其他算法     0 机器学习中分类和预测算法的评估： 准确率 速度 强壮性 可否规模性 ...
决策树中信息熵和信息增益的推导
liuguaaa的博客
10-26 187
决策树如何通过信息增熵确定最终的决策
guoguicheng的博客
09-20 750
信息熵定义： 有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即   推导一下条件熵 信息增熵=信息熵-条件熵 ------------------------------------------------------分割线---------------...
决策树算法笔记1-信息熵
baidu_35753600的博客
03-15 757
二元信源的信息熵entropy 二元信源：相当于一个二进制的一bit，只有0和1两种可能。 如果0的概率：P 那么1的概率：Q=1-P 信息熵H(U) = −Plog2⁡P−(1−P)log2(1−P) -P log_2⁡P-(1-P) log_2 (1-P) −Plog2​⁡P−(1−P)log2​(1−P) 比赛冠军的信息熵 32 个球队进行比赛，那么冠军花落谁家 所蕴含的信息熵是多少？ 假如每个球队夺冠几率均等， 那么信息熵H(U) = 32∗（1/32∗log2⁡32） 32*（1/32..
决策树（公式推导+举例应用）
最新发布
01-11
决策树（公式推导+举例应用）
信息熵决策树.zip
12-04
本笔记主要关注信息熵在决策树中的应用。 信息熵是衡量数据纯度的一个概念，源自信息论。在决策树中，我们希望选取能够最大程度减少数据集不纯度的特征作为分裂标准。信息熵公式为：\( H(D) = -\sum_{i=1}^{n} p_i ...
第5章决策树2
08-03
在本章中，我们将深入理解决策树的几个关键概念，包括熵、信息增益以及集成学习方法如随机森林和AdaBoost。 首先，让我们讨论决策树中的熵。熵是衡量数据纯度的一个度量，对于分类问题，熵用于表示一个节点中各类别...
决策树算法推导&python应用
12-22
决策树公式推导 （1）信息熵－－用来度量样本集合纯度最常用的一种指标，定义如下： Ent⁡(D)=−∑k=1∣Y∣pklog⁡2pk(式1) \operatorname{Ent}(D)=-\sum_{k=1}^{\vert{\mathcal{Y}}\vert}p_k\log_2p_k\tag{式1} Ent...
基于决策树的鸢尾花分类
04-21
【基于决策树的鸢尾花分类】 决策树是一种广泛应用的机器学习算法，尤其适用于分类问题。在本案例中，鸢尾花的分类是基于决策树模型进行的。鸢尾花有三个不同种类：Iris Setosa (Se)，Iris Versicolour (Ve)，和 ...
香农信息熵的计算.py
03-18
香农信息熵的计算(例1和例2分别为两种不同类型的输入)以及互信息的计算（例3）。其中log默认为自然对数。 #例1： 计算香农信息熵（已知概率分布） #例2： 计算香农信息熵（此时给定了信号发生情况) #例3： 计算互信息（输入：给定的信号发生情况,其中联合分布已经手工给出)
决策树中熵的理解
SherryQiao的博客
01-13 6551
熵，信息增益
决策树-信息熵的数学原理
围城
01-15 639
2018/1/15 信息熵是指一个事件的不确定性，最早接触的时候也是在信息论里面。而从当时课上得内容出发，就是一个通信编码的过程。 但是现在来说，见到的更多的地方是机器学习的部分， 决策树部分，利用信息增益去分裂节点。 不过，虽然这个东西也算是耳濡目染了，但是把，还是没有完全的理解。 就比如去计算一段字符串的信息熵或什么的。 正常情况下，应该是去拿一个字节（8个比特）的内容去代表一个字符，翻译过...
决策树和信息熵
angciyu的博客
03-22 1603
有没有玩过或听过这样一个游戏：参与游戏的一方在脑海里想好某个事物，然后其他参与者向他提问，回答者只能回答是还是不是。问问题的人通过答案推理，不断缩小待猜事物的范围。其实上面的过程就类似于决策树的工作原理。就像上面那个游戏，关键点在于如何问问题，那决策树的关键，就在于如何划分数据集。划分数据集的大原则就是：将无序的数据变得更加有序。那用什么衡量有序和无需呢？就是信息熵。要说信息熵，先说说信息量。信息...
机器学习之算法决策树（分类）——通过例子说明信息熵的计算方法
PY_smallH的博客
12-11 5705
决策树采用的是信息熵或者Gini系数来作为分类标准。 信息熵公式： Gini系数公式： 一般构造一个分类器(sklearn.tree.DecisionTreeClassifier)，默认参数criterion有{“gini”, “entropy”}, 其中default=”gini”。这两个计算公式不一样而已。 我在这里计算的是信息熵的公式，另外的一个也都一样，换一个公式而已。 我们在提到概率问题的时候都会有一个前提假设，假设这些变量或者特征都是相互之间没有关系的，就不会存在组合的情况，不然就没办法计算概率
【机器学习】决策树算法以及熵、条件熵、信息增益等整理
miss0
11-20 2410
一、ID3算法（按照信息增益最大为原则） 理解熵、条件熵： 首先有定义是某事件发生的概率小，则该事件的信息量大。 熵定义：如果一件事有k种可的结果，每种结果的概率为 pi , i=1,2,…，k 信息熵的公式为： 联系之前的定义某事件发生的概率小，则该事件的信息量大。 也就是说信息量是描述变量的不确定性的，值越大表示该事件越不确定（也就是概率小嘛），因此，引入其他变量使得这种不确定
决策树中基本概念——香农熵
qq_23617681的博客
04-08 5622
在学习决策树时，最重要的步骤是构建决策树。 其中，最重要的步骤是根据属性划分数据集，其中先使用哪个属性，后使用哪个属性，是决定决策树构建的好坏的重要标准。 其中，使用属性构建数据集，最重要的参考标准，就是使划分后的信息增益最大。 这里就使用到一个概念：信息熵。 熵：表示随机变量不确定性，即混乱程度的量化指标。 熵越大，不确定性越大，越无序；越小，确定性越大，越有序。 同
决策树的熵问题
九天的博客
05-21 6054
决策树算法： 简介 决策树是一种十分常用的监督学习的分类算法。所谓监管学习，就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。 算法分类 决策树算法目前主要有以下三种：ID3/C4.5/CART ID3算法使用的是信息熵增益 C4.5算法使用的是信息熵增益率 CART算...
机器学习之信息熵
aikunjiao3421的博客
01-14 316
1. 　　(1)熵的概念的引入，首先在热力学中，用来表述热力学第二定律。由玻尔兹曼研究得到，热力学熵与微　　观状态数目的对数之间存在联系，公式如下： 　　 　　信息熵的定义与热力学熵的定义虽然不是一个东西，但是有一定的联系，熵在信息论中表示随机变量不确定度的度量。一个离散随机变量X与熵H(X)的定义为： 　　 　　(2)为了便于理解，举个例子：直觉上，信息量等于传输该信息所用的...
决策树算法详解：学生熵计算与应用
在决策树中，熵用于评估一个节点的纯度。对于学生分类问题，假设存在两个类别：学生和非学生，熵E（学生）=0.7811，表示在当前状态下，数据集的不确定性或混合程度。通过比较不同特征划分数据后的熵变化，可以找到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值