数据挖掘：决策树、信息熵和信息增益

已于 2022-05-02 10:14:28 修改
阅读量662 收藏
点赞数 1
分类专栏： python机器学习和数据挖掘 文章标签： 决策树 数据挖掘 机器学习
于 2022-04-30 23:52:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46530492/article/details/124521263
版权
本文探讨了决策树的构建过程，包括Hunt算法、节点划分策略、属性测试条件选择以及衡量标准如基尼指数和信息熵。讨论了如何确定最佳分割点，以及如何使用基尼指数和熵计算信息增益。同时，文章还指出信息增益的缺点，并引入了增益率作为改进措施。此外，提到了分类错误作为另一种衡量不纯度的方法，以及防止过拟合的预剪枝和后剪枝策略。
摘要由CSDN通过智能技术生成

文章目录


illustrating classification task

classification techniques

  • example of a decision tree

  • apply model to test data

  • decision tree classification task

decision tree induction

  • Hunt’s Algorithm(one of the earliset)

    multi-way split or binary split

    How to determine the best split

    greedy approach： nodes with homogeneous class distribution are preferred
    G i n

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Cachel wood
关注
专栏目录
订阅专栏
决策树--信息熵增益
zyoulanxin的博客
10-15 133
from math import log import operator def createDateset(): dataSet = [["青年", "否", "否", "一般", "否"], ["青年", "否", "否", "好", "否"], ["青年", "是", "否", "好", "是"], ["青年", "是", "是", "一般", "是"], ["青年",
决策树介绍(一)信息熵和信息增益
liaoyaonline的博客
03-12 1326
信息熵和信息增益   对决策树有过初步了解的人对决策树应该有个初步概念，决策树就是将各种属性根据在当前条件下，计算出划分结果最有利的属性，并将该属性做为划分属性，以此类推，直到所有的属性都划分完毕。其中如何确定该属性对于划分结果是最有利？这个需要用到信息熵的概念，即通过计算条件熵H(Y|X)(表示在已知随机变量X的条件下随机变量Y的不确定性)，选择不确定性最低的属性做为最优划分属性。 信息熵概念 ...
数据挖掘信息熵（里面含有相应的代码）
05-27
数据挖掘信息熵问题，里面有相应的算法代码。
【数据挖掘】决策树中根据 信息增益 确定划分属性 ( 信息与熵 | 总熵计算公式 | 每个属性的熵计算公式 | 信息增益计算公式 | 划分属性确定 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-17 7463
I . 决策树 树根属性 选择 II . 信息增益 示例说明 III . 信息增益 计算步骤 IV . 信息增益 计算使用的数据集 S V . 信息增益 计算公式 已知条件 VI . 信息增益 总熵 计算公式 VII . 信息增益 每个属性的熵 计算公式 VIII . 信息增益 计算公式 IX . 信息增益计算 案例 X . 信息增益计算 递归确定 树根属性
程序猿成长之路之数据挖掘篇——决策树分类算法(1)——信息熵和信息增益
最新发布
zygswo的博客
06-22 1676
决策树（Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。
结合数据挖掘分类谈谈对信息熵的理解
共同分享，一起成长
07-19 4696
信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。    公式为：H(x)=E[I(xi)]=E[ log(2,1/p(xi)) ]=-∑p(xi)log(2,p(xi)) (i=1,2,..n)该值越大表示信息量越大    在一个系统中，该系
数据挖掘十大经典算法学习之C4.5决策树分类算法及信息熵相关
热门推荐
vshadow的专栏
11-29 1万+
Definition 决策树学习时应用最广的归纳推理算法之一。[1]它是一种逼近离散值函数的方法，对噪声数据有很好的健壮性且能够学习析取表达式。CLS， ID3，C4.5，CART均是决策树学习算法。 [1]归纳学习成立存在一个基本假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。“泛化能力” 决策树学习的归纳偏置是优先选择较小的树。 决策树
educoder 数据挖掘算法原理与实践：决策树
木右加木 就是木木
11-15 4789
第1关：决策树算法思想 1 AB 2 B 第2关：决策树算法原理 import numpy as np def calcInfoGain(feature, label, index): ''' 计算信息增益 :param feature:测试用例中字典里的feature，类型为ndarray :param label:测试用例中字典里的label，类型为ndarray :param index:测试用例中字典里的index，即feature部分特征列的索引。该索
决策树（信息熵、信息增益、信息增益率、基尼值和基尼指数、剪枝）
一只黑猩猩
10-07 3655
Machine Learning & Data Mining 决策树（信息熵、信息增益、信息增益率、基尼值和基尼指数、剪枝） 参考自：周志华《机器学习》、”机器学习与数据挖掘“课程 一、概述 决策树(decision tree) 是一类常见的机器学习方法，是基于树结构来进行决策的，也称“判定树”。 一棵决策树包含一个根结点、若干个内部结点和若干个叶结点： 叶结点对应决策结果 其他每个结点则对应于一个属性测试 每个结点包含的样本集合根据属性测试的结果被划分到子结点中，根结点包含样本全集。从根结
信息熵、信息增益以及决策树
lilinfei001的博客
07-09 2272
什么是信息熵？ 信息熵是信息论的范畴，利用概率论和统计的方法，因此信息熵也被称为基于概率分布的信息熵。在介绍信息熵概念之前，先介绍一个基本的概念：区分能力。所谓区分能力是指把对象划分到具体分组的能力，比如金庸武侠小说里的英雄人物，每一个武侠人物都是性别、智商、情商、侠义、个性5个属性，如何根据这个5个属性来区分不同的武侠人物。如果某个属性可以将被测试的人物尽可能分到相应的组，那么可以认为这个问题的区分能力强。 我们看性别和智商两个属性。 图片来源：极客时间程序员的数学基础课 我们看性别属性
数据挖掘：决策树与分类算法详解
ID3主要基于信息熵和信息增益来进行特征选择，以最大化信息增益来分裂节点，寻找最优特征。然而，ID3对于连续数值型属性处理不足，并且容易偏向于选择具有较多取值的特征。 C4.5是ID3的升级版，解决了ID3的一些问题...
数据挖掘 ID3选择具有最高信息熵增益的属性作为分裂属性，基于这种原则我们首先可以算出初始集合的熵，然后分别求出以各个属性为分裂属性时的熵，然后将通过上面得到的数据算出以各个属性为分裂属性时的信心增益，选择具有最大的信息增益属性作为我们的分裂属性。
12-14
ID3选择具有最高信息熵增益的属性作为分裂属性
数据挖掘经典十大算法_条件熵、信息增益介绍
敷衍zgf的博客
08-07 5453
条件熵、信息增益介绍
信息熵
智能时代
10-07 220
信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。   一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的...
数据挖掘学习日志(part1)--熵值法
小山羊的学习日志
07-09 1069
学习笔记，仅供参考 熵值法 ​ 信息熵是将系统无序程度的度量，信息是系统有序程度的度量，二者绝对值相等但符号相反，某项指标的指标值变异程度越大，信息熵就越小，该指标提供的信息量就越大，该指标的权重也应越大；反之，某项指标的指标值变异程度越小，信息熵越大，该指标提供的信息量越小，该指标的权重也应越小。 所以可以根据各项指标值的变异程度，利用信息熵工具，计算出各指标权重，具体步骤为： 将各指标同度量化，计算第jjj项指标下第iii个方案指标值的比重 pij=xij∑i=1mxij p_{ij}= \fr
数据挖掘
QiwzDeBLOG的博客
08-13 985
决策树： 贝叶斯定理：   朴素贝叶斯： 决策树： ID3： 熵： Gain大的点选择为分开点   神经网络： 梯度下降法： BP算法 网络例子：Online Demo http://neuron.eng.wayne.edu/software.html http://facstaff.cbu.edu/~pong/ai/hopfield/hopfieldap...
理解数据挖掘：决策树算法深度解析
"决策树算法是一种重要的数据挖掘技术，用于分类和预测问题。它通过创建树状模型来根据输入特征做出决策。在分类问题中，目标变量是离散的；而在预测问题中，目标变量是连续的。" 决策树算法在理解和应用上都非常...
关于决策树的信息增益（信息熵）
qq_36837949的博客
04-01 841
1.前言 决策树学习的关键是如何选择最优划分属性，一般而言，随着划分过程的不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一个类别，即结点的‘纯度’（purity）越来越高。所以我们引入信息熵的概念，来度量样本集合的纯度。 2.信息增益 3.增益率 在上面的介绍中，我们有意忽略了表4.1中的‘编号’一栏，若把‘编号’也作为一个候选划分属性，则...
熵权法（客观赋权法）
weixin_46699726的博客
08-11 1万+
一、熵权法介绍 　　熵权法是一种客观赋权方法，其基本思路是根据指标变异性的大小来确定客观权重。 　　依据的原理：指标的变异程度越小，所反映的信息量也越少，其对应的权值也应该越低。 二、熵权法步骤 （1）对数据进行预处理 假设有n个要评价的对象，m个评价指标（已经正向化）构成的正向化矩阵如下： 对数据进行标准化，标准化后的矩阵记为Z，Z中的每一个元素： 判断Z矩阵中是否存在负数，如果存在的话，需要对X使用另外一种标准化方法 对矩阵X进行一次标准化，标准化公式如下： （2）计算第j
信息熵（entropy)的理解
hahaxq的博客
03-31 4338
引言： 最近在看数据挖掘的内容，看视频的时候，里面的老师讲到了一些信息熵的东西，突然让我对于之前信息熵的迷惑瞬间消散。写这个的目的只是抛砖引玉，辅助看到信息熵的朋友加深一点点…点.理解，水平实在有限，尽量保证正确 首先这儿有个统计图表，如下： 从图中这三列，我们分别可以得到如下信息： 1.第一列：总人群中男女比例都是0.5 2.第二列：在不吸烟的人群中女的为0.8，男的为0.2 3.第三列：在吸...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cachel wood

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值