利用ID3算法建立决策树

最新推荐文章于 2024-09-12 19:02:20 发布

O0SunSnows0O

最新推荐文章于 2024-09-12 19:02:20 发布

阅读量1.4k

点赞数 32

文章标签：算法决策树机器学习人工智能数据挖掘

本文链接：https://blog.csdn.net/qq_38988257/article/details/135604688

版权

本文介绍了如何使用ID3算法建立决策树来预测打网球的行为，通过计算各属性如天气、温度、湿度和风力的Gain值，确定了Outlook是影响结果的最显著因素。具体步骤包括求I值和计算属性的期望值及其Gain值。

摘要由CSDN通过智能技术生成

这个算法是干啥用的？？

算出全局哪个属性对结果的影响力最大！

利用ID3算法建立决策树（画出决策树），以及判别是否打网球的分类规则（写出具体计算步骤）。

表一目标概念 playTennis的训练样例

Day	Outlook	Temperature	Humidity	Wind	PlayTennis
D1	Sunny	Hot	High	Weak	No
D2	Sunny	Hot	High	Strong	No
D3	Overcast	Hot	High	Weak	Yes
D4	Rain	Mild	High	Weak	Yes
D5	Rain	Cool	Normal	Weak	Yes
D6	Rain	Cool	Normal	Strong	No
D7	Overcast	Cool	Normal	Strong	Yes
D8	Sunny	Mild

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

O0SunSnows0O

关注关注

32
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

educoder 数据挖掘算法原理与实践：决策树

木右加木就是木木

11-15

4635

第1关：决策树算法思想 1 AB 2 B 第2关：决策树算法原理 import numpy as np def calcInfoGain(feature, label, index): ''' 计算信息增益 :param feature:测试用例中字典里的feature，类型为ndarray :param label:测试用例中字典里的label，类型为ndarray :param index:测试用例中字典里的index，即feature部分特征列的索引。该索

决策树例子与python实现

sarracode的博客

07-26

4986

决策树的划分依据之一是信息增益的大小对于下面这个例子，使用ID3算法，ID3：使用信息增益g(D,A)进行特征选择一个特征的信息增益(或信息增益率，或基尼系数)越大，表明特征对样本的熵的减少能力更强，这个特征使得数据由不确定性到确定性的能力越强下面就以一个经典的打网球的例子来说明如何构建决策树。我们今天是否去打网球（play）主要由天气（outlook）、温度（tempera...

参与评论您还未登录，请先登录后发表或查看评论

《统计学习方法》——决策树

日积月累，天道酬勤

04-14

2495

引言本文是统计学习方法第二版的读书笔记。主要讨论了决策树。 决策树主要优点是模型具有可读性，分类速度快。 决策树模型与学习 决策树模型分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点。内部节点表示一个特征或属性，叶节点表示一个类。上图是一个决策树的示意图，圆和方框分别表示内部结点和叶结点。 决策树与if-then规则可以将决策树...

机器学习之决策树的构建

milu的博客

04-29

894

是一种用来构建决策树的机器学习算法。它的核心在于使用信息增益作为属性选择的标准来递归地划分数据，生成决策树。：信息熵是衡量数据集纯度的一个重要指标，它代表了数据的不确定性或混乱程度。在ID3算法中，信息熵被用来衡量一个数据集中的随机变量的不确定性。其计算公式为其中 p(xi) 是分类（xi ) 出现的概率，n 是分类的数目。：信息增益是指在知道某个特征的信息之后，数据集不确定性减少的程度。在ID3中，选择具有最大信息增益的特征作为当前节点的最优划分属性。

实验五：决策树

Y2807593076的博客

10-16

769

从实验结果中我们可以知道，我们的预测准确率为0.8366336633663366，可以得知我们构建的决策树在预测测试集的准确率上还是比较高的，所以我们的决策树构建的是比较正确的，那么可以得知我们前面编写的代码应该也是比较正确的。如图所示，我们可以看到我们构建的决策树的部分结构如上，首先最上面的是一个根节点，然后就到了第一个子节点，然后子节点下面还有很多的子节点，先遍历完了第一个子节点后再去遍历下一个子节点，所以我们可以知道这一个展示决策树的具体方式是深度优先的遍历顺序的。基尼系数越小，节点的纯度越高。

决策树ID3算法

weixin_65258539的博客

11-20

2715

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归的构建决策树。具体方法是：从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；直到所有特征的信息增益均很小或没有特征可以选择为止，最后得到一棵决策树。

使用ID3算法构造决策树——python

Vicky

07-06

4760

补充python代码，完成DecisionTree类中的fit和predict函数。为了完成本关任务，你需要掌握：ID3算法 ID3算法其实就是依据特征的信息增益来构建树的。其大致步骤就是从根结点开始，对结点计算所有可能的特征的信息增益，然后选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点，然后对子结点递归执行上述的步骤直到信息增益很小或者没有特征可以继续选择为止。因此，ID3算法伪代码如下：使用决策树进行预测 决策树的预测思想非常简单，假设现在已经构建出了一棵用来决策是否买西...

利用ID3算法建立决策树的研究

12-30

### 利用ID3算法建立决策树的研究 #### 决策树基本概念 决策树是一种常用的机器学习方法，尤其适用于分类任务。它模仿人类决策过程，通过一系列的问题（即属性测试）来达到最终的决策结果。决策树由节点和边组成，...

李航统计学习例5.3 利用ID3算法建立决策树

weixin_40230767的博客

01-17

863

from numpy import * from math import log import operator def calcShannonEnt(dataset): numdataset=len(dataset) labelCount={} for data in dataset: curlabel=data[-1] if curla

5-3 决策树 ID3决策树的生成算法

幸福在路上

03-22

633

ID3算法在决策树各个结点上应该信息增益准则选择特征，递归地构建决策树 输入训练数据集D 特征集A 阈值ϵ\epsilonϵ 输出 决策树T 过程若D中所有实例属于同一类CkC_kCk，则T为单结点树，并将类，则T为单结点树，并将类，则T为单结点树，并将类CkC_kCk作为该结点的类标记，返回T 若A=∅A=\emptysetA=∅，则T为单结点，并将D中实例数最大的类CkC_kCk...

数学建模教学：常用算法 --- ID3-决策树分类算法

dc_sinor的博客

06-09

3620

本人计算机研二，专业带队数学建模，长期更新建模教学，有需要的同学欢迎讨论～本篇文章，本系列学长讲解一部分数学建模常用算法，会陆续更新每个算法的详细实现和使用教程 2 递归终止的条件：（1）所有类的标签完全相同，则直接返回该类标签。（2）使用完所有即当前属性集为空，仍不能将数据集划分成仅包含唯一类别的分组，则挑选出现次数最多的类别作为返回值。共分为四个属性特征：年龄段，有工作，有自己的房子，信贷情况; 现根据这四种属性特征来决定是否给予贷款为了方便，我对数据集进行如下处理：在编写代码之前，我们

机器学习--决策树（ID3，C4.5，CART）的原理

qq475225253的博客

06-22

1550

ID3，C4.5和CART三种决策树。树结构是计算机领域中常见的一种数据结构，他由1个根节点，若干个中间节点和若干个叶子节点构成。如图所示，1是根节点（根节点明显特征是没有任何的输入），2和3是中间节点（中间节点明显特征是有输入且有输出），4和5及6是叶子节点（叶子节点明显特征是没有任何的输入）.

机器学习实战-决策树实战

尚未佩妥剑转眼便江湖

02-27

1830

ID3算法 ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点(root node)开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止，最后得到一个决策树。ID3相当于用极大似然法进行概率模型的选择...

算法刷题：300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组、1143. 最长公共子序列