机器学习(三)-决策树

最新推荐文章于 2022-04-20 10:00:00 发布
最新推荐文章于 2022-04-20 10:00:00 发布
阅读量293 收藏
点赞数
分类专栏： 自我成长
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27020369/article/details/97185667
版权
本文详细介绍了决策树的三种算法：ID3利用信息增益选择特征，C4.5引入信息增益比解决偏好问题，CART基于基尼系数构建二叉树。此外，还探讨了决策树的剪枝策略，包括域剪枝和后剪枝，以防止过拟合，提高模型泛化能力。
摘要由CSDN通过智能技术生成

ID3 （计算信息增益）

年龄 长相 工资 写代码 类别
小A 老 帅 高 不会 不见
小B 年轻 一般 中等 会 不见
小C 年轻 丑 高 不会 见
小D 年轻 一般 高 会 见
小L 年轻 一般 低 不会 不见

信息增益 g(D, A) = 经验熵 H(D) - 经验条件熵 H(D|A) :
在这里插入图片描述
经验熵：
在这里插入图片描述
D是本集合的元素个数，Ck是样本集合D中属于第k类的样本子集。在上面例子中，样本子集分两种：见和不见，见的Ck=2，不见的Ck=3。因此，经验熵：

最低0.47元/天 解锁文章
天才小彩笔i
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
人工智能-机器学习-决策树-决策树分类（ID3，C4.5，CART）
07-09
决策树分类（ID3，C4.5，CART） 三种算法的区别如下： (1) ID3算法以信息增益为准则来进行选择划分属性，选择信息增益最大的； (2) C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率...
【算法】决策树原理
01-20 2675
决策树是一种非参数的监督学习方法，它主要用于分类和回归。决策树的目的是构造一种模型，使之能够从样本数据的特征属性中，通过学习简单的决策规则——IF THEN规则，从而预测目标变量的值。
《数据挖掘导论》 - 读书笔记(5) - 分类：基本概念、决策树与模型评估 [2016-8-21]...
weixin_30907935的博客
09-17 3870
第4章　　分类:基本概念、决策树与模型评估 　　分类任务就是确定对象属于哪个预定义的目标类。分类问题是一个普遍存在的问题，有许多不同的应用。例如：根据电子邮件的标题和内容检查出垃圾邮件，根据核磁共振扫描的结果区分肿瘤是恶性的还是良性的，根据星系的形状对它们进行分析。 　　本章介绍分类的基本概念，讨论诸如模型的过分拟合等关键问题，并提供评估和比较分类技术性能的方法。尽管本章主要关注一种称作决策树...
决策树算法
a130737的专栏
03-27 5079
在Journal of knowledge and Information Systems，  2007 上出现过一篇文章。 “Top 10 algorithms in Data Mining”。 其中这篇文章列出了数据挖掘中最常用的10大算法， 分别是： C4.5, K-means, SVM， Apriori, Expectation Maximization, PageRank, Adaboo
机器学习之决策树算法（续）
Maple__Boy
08-17 1336
CART回归树建立算法 CART回归树和CART分类树的建立算法大部分是类似的，所以这里我们只讨论CART回归树和CART分类树的建立算法不同的地方。 首先，我们要明白，什么是回归树，什么是分类树。两者的区别在于样本输出，如果样本输出是离散值，那么这是一颗分类树。如果果样本输出是连续值，那么那么这是一颗回归树。 除了概念的不同，CART回归树和CART分类树的建立和预测的区别主要有下面两点： 1)连续值的处理方法不同 2)决策树建立后做预测的方式不同。 对于连续值的处理，我们知道CART分类树采用的是用基尼
机器学习算法（3）之决策树算法
热门推荐
不曾走远的博客
08-25 12万+
前言：首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线性的，除...
Python机器学习 实验- 决策树1
08-18
**Python机器学习实验——决策树1** 实验的目标是理解和掌握决策树模型的原理以及如何用Python实现决策树算法，用于预测。决策树是一种基于概率分析的直观决策分析方法，因其结构形似树枝而得名。在机器学习领域，...
机器学习-决策树-实现源码
11-02
带着读者通过Python语言手写简化版实现决策树绘制。 适合人群：零基础或者具备一定编程基础，对机器学习有一定的了解。...可以学到机器学习决策树的原理，如何利用cart决策树实现决策树绘制，完成分类效果。
机器学习算法-决策树内容
12-04
决策树是一种广泛应用于机器学习领域的分类与回归方法。它通过一系列规则和判断，将数据集划分为不同的子集，直到每个子集中的数据都属于同一类别或者满足预设的停止条件。分类任务是确定给定对象应归属的预定义目标...
机器学习实战-手撕决策树
05-18
【决策树模型】是一种广泛应用的监督学习方法，尤其在分类问题中表现突出。它通过创建一个树状模型来表示样本空间及其类别分配规则。在这个实验中，我们将关注决策树在【鸢尾花数据集】上的应用，这是一个经典的数据...
训练误差与混淆矩阵
qq_44587855的博客
12-19 1091
我们都知道混淆矩阵的定义，就不赘述了。 混淆矩阵通过分类模型的预测准确率或者说是错误率来评估分类模型的性能。 然而对于决策树来说，首先它是一个训练的过程，其实是没有预测行为的。然而我们知道可以根据乐观估计，也就是训练误差代替泛化误差来判断。 训练误差，在决策树最终成型之后，最终具有共同特征的大部分点代表了这个共同特征的类型，但是有些点即使也有这些特征，它们也像异类一样本身不属于这个大部分群体，但它...
模型的过分拟合
qq_44587855的博客
12-16 2464
分类模型的误差分为两种：训练误差（training error）和泛化误差（generalization error）。 一个好的分类模型不仅要能够很好的拟合训练数据而且对未知样本也要能准确的分类。 模型拟合不足：当决策树很小时，训练和检验误差都很大，这种情况称作模型不足（model underfitting），出现拟合不足的的原因是模型尚未学习到数据的真实结构，因此，模型在训练集和检验集上的...
机器学习之决策树算法
Maple__Boy
08-16 2192
前言：首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线性的，除非对x进行多维映射），而决策树可以找到非线性分割。 而树形模型更加接近人的思维方式，可以产生可视化的分类规则，产
SSE，MSE均方误差计算公式（训练误差，测试误差）
04-20 8187
请看下图当中的两个例子：分别求训练误差以及测试误差
周志华《机器学习》课后习题解析（第四章）：决策树
红色石头的专栏
05-13 1万+
作者 |我是韩小琦链接 |https://zhuanlan.zhihu.com/p/446666944.1 试证明对于不含冲突数据(即特征向量完全相同但标记不同)的训练集，必存在与训...
机器学习系列（1）——决策树的简单总结
从此醉
08-15 4309
文章目录0x01、决策树的基本概念1.1 Hunt算法1.2 决策树归纳的设计问题1.3 决策树归纳算法的框架0x02、决策树的过拟合2.1 泛化误差估计2.2 过拟合的处理方法0x03、评估分类器的性能0x04、决策树的总结4.1 决策树算法的要点4.2 算法比较4.3 决策树算法的优缺点参考资料 本文主要是对决策树的概念性的归纳和总结。 0x01、决策树的基本概念 决策树是一种由结点和有向边组成的层次结构。树中包含三种结点：根结点、内部结点和叶结点。 决策树通常采用贪心策略，在选择划分数据的属性时，采取
分类（1）：决策树与模型评估
longgb123的博客
10-30 1万+
一、如何建立决策树1、Hunt算法Hunt算法是许多决策树算法的基础，包括ID3、C4.5、CART。 Hunt算法步骤： （1）如果Dt中所有数据都属于同一个类yt，则t是叶结点，用yt标记。 （2）如果Dt中包含属于多个类的数据，则选择一个属性，将数据划分为较小子集。创建子女结点，将数据按属性放入子女结点中，然后递归调用该算法。 但是该算法对于大多数情况太苛刻了，需要附加： （1
决策树特征分裂为何不选择最小化训练误差？
JustForFun的博客
04-09 2804
在博客上看到有博主说是因为使用最小化训练误差可能会导致过拟合，所以没有选择，感觉理解的似乎有点问题，这边给出自己的一些理解。 1.首先一点，线性回归，逻辑回归等都是要基于最小化训练误差来做，应该是基本所有的分类算法都是要最小化训练误差的，只是损失函数的不同导致选择的目标函数不同的原因，不太会因为可能过拟合而不选择最小化训练误差。 2.第二点，决策树的生成是递归生成，并且是贪心地生成的，无法保证...
决策树算法梳理
And now I know that i be on my own
04-03 491
1、 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 熵：熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度，在信息论里面，熵是对不确定性的测量。 联合熵：联合熵就是度量一个联合分布的随机系统的不确定度。分布为p(x,y)的一对随机变量（X,Y），其联合熵定义为： 条件熵：定义事件 X 与 Y 分别取 xi 和 yj 时的条件熵为 其中p(xi, yj)为 X = xi 且 ...
机器学习 --- 决策树
最新发布
10-11
决策树是一种用于分类和回归任务的机器学习算法。它是一个树形结构，其中每个内部节点表示一个特征，每个分支代表该特征的一个可能取值，而每个叶子节点代表一个类别或预测结果。 决策树的构建过程基于分割数据集的特征，目标是通过在每个节点选择最佳的特征来最大程度地减少不确定性或纯度。常用的衡量指标有信息增益、基尼系数和错误率。 在预测时，我们从根节点开始，根据待分类样本的特征值依次选择分支，直到到达叶子节点并得到最终的预测结果。 决策树算法具有可解释性强、易理解、可视化等优点。然而，它也存在一些缺点，比如容易过拟合、对噪声敏感等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值