[机器学习] 第四章 决策树 1.ID3(信息增益) & C4.5(信息增益率) & Cart(基尼指数)

最新推荐文章于 2022-04-02 12:55:16 发布
最新推荐文章于 2022-04-02 12:55:16 发布
阅读量200 收藏
点赞数
分类专栏： 机器学习 文章标签： 决策树 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/118424629
版权
本文深入介绍了决策树的三种经典算法：ID3（基于信息增益）、C4.5（信息增益率）和Cart（基尼指数）。详细阐述了信息熵、信息增益、信息增益率和基尼指数的概念，并通过实例展示了如何利用这些指标选择最优划分属性。还探讨了ID3和C4.5算法的优缺点以及停止分裂的条件。
摘要由CSDN通过智能技术生成

参考：https://www.cnblogs.com/liuq/p/9927580.html
参考：https

文章目录

一、ID3 算法

ID3算法 是 以信息增益作为属性的选择标准,构造决策树，是一种贪心算法。

信息熵

我们希望决策树的分支节点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。
假设当前样本集合D中第 k 类样本所占比例为 pk(k=1,2,…,|y|) ,y表示样本D中的类别数，则D的信息熵为：

E n t ( D ) = − ∑

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
人工智能-机器学习-决策树-决策树分类（ID3，C4.5，CART）
07-09
决策树分类（ID3，C4.5，CART） 三种算法的区别如下： (1) ID3算法以信息增益为准则来进行选择划分属性，选择信息增益最大的； (2) C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率...
机器学习第四章线性回归算法进阶4.5Lasso回归（《大话Python机器学习》学习笔记）
weixin_45655385的博客
01-11 971
第四章线性回归算法进阶 4.5Lasso回归   Lasso回归与岭回归类似，差别在于使用了不同的正则化项，由于引入正则项不同，解决了岭回归的一些不足，更好地实现了回顾估计法。 4.5.1Lasso回归原理   Lasso回归是让回归系数不要太大，以免造成过度拟合。   与岭回归不同的是，Lasso是在成本函数J(θ)中增加参数绝对值和的正则项：            岭回归中加入了参数平方和的约束惩罚项（L2正则化）   Lasso回归中加入了参数绝对值和的约束惩罚项（L1正则化）         
python使用ID3、C4.5、CART实现西瓜数据集决策树并画出图像
最新发布
12-06
本项目涉及了Python编程环境下对西瓜数据集的分析，利用ID3、C4.5和CART三种决策树算法进行西瓜好坏的分类，并可视化结果。下面将详细介绍这三个算法及其在Python中的实现。 首先，ID3（Iterative Dichotomiser 3）...
jueceshu.rar_C4.5 Iris_decision tree id3_id3 c4.5 cart_决策树 ID3_
07-14
在这个压缩包文件"jueceshu.rar"中，包含了三种经典的决策树算法实现：C4.5、ID3以及CART，它们都是在Iris数据集上进行演示的。下面将详细介绍这三种决策树算法以及Iris数据集。 1. **ID3（Iterative Dichotomiser ...
机器学习实战(第三章-决策树-ID3算法-所有代码与详细注解-python3.7)
12-09
6. **ID3算法的改进**：由于ID3只考虑信息增益可能导致偏向选择具有较多属性值的特征，C4.5和CART算法（分别基于信息增益比和基尼指数）进行了改进，克服了这一缺陷。此外，ID3不支持连续型特征，而这些在实际问题中...
59. ID3、C4.5、CART三种决策树的区别 - 哆啦咪~fo - CSDN博客1
08-03
决策树算法比较-ID3、C4.5、CART 决策树是一种常用的机器学习算法，在数据挖掘和机器学习领域中应用广泛。其中，ID3、C4.5和CART是三种流行的决策树算法，每种算法都有其特点和优缺。 ID3决策树 ID3决策树是由...
[机器学习] 无偏估计和有偏估计及公式证明
热门推荐
心宝的博客
05-06 1万+
关于无偏估计 无偏估计：对于总体，样本均值是总体均值的无偏估计，如果k阶原点距期望存在，则样本的k阶原点矩也是无偏估计， 但中心距不是。 有偏方差和无偏方差 有偏估计方差 无偏估计方差 当样本数趋于无穷时，有偏估计和无偏估计等价。 无偏估计方差的公式证明 关于分母为什么是n-1的通俗的理解 自由度，通俗来讲，就是不受约束的变量的个数。 因为μ已知，x1,…xn，n个变量只需要知道n-1个就能知道最后一个，所以自由度是n-1。 ...
[机器学习] 数据缺失的处理方法及其优缺点分析
心宝的博客
04-02 3109
参考：数据缺失的处理方法及其优缺点分析 - 知乎 一、缺失值的原因 缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。缺失值的产生的原因主要为： 无意的：信息被遗漏，比如由于工作人员的疏忽忘记而缺失；或由于数据采集器故障等原因造成的缺失，比如系统实时性要求较高的时候，机器来不及判断和决策而造成缺失； 有意的：有些数据集在特征描述中会规定将缺失值也作为一种特征值，这时候缺失值就可以看作是一种特殊的特征值； 不存在：有些特征属性根本
[机器学习] SSE,MSE,RMSE,R-square指标讲解
心宝的博客
06-16 2383
参考：https://blog.csdn.net/l18930738887/article/details/50629409 SSE(和方差、误差平方和)：The sum of squares due to error MSE(均方差、方差)：Mean squared error RMSE(均方根、标准差)：Root mean squared error R-square(确定系数)：Coefficient of determination Adjusted R-square：Degree-of-freed
[机器学习] 第二章 模型评估与选择 1.ROC、AUC、Precision、Recall、F1_score
心宝的博客
04-09 2096
1.非均衡分类问题 类别分类代价不等 例如：垃圾邮件过滤中，我们希望重要的邮件永远不要被误判为垃圾邮件。 还有在癌症检测中，宁愿误判也不漏判。 此时分类错误率的度量不充分 所以，在分类中，当某个类别的重要性高于其他类别时，可以使用Precison和Recall多个比分类错误率更好的新指标。 条件阳性（P） 数据中真实阳性病例的数量 条件否（N） 数据中实际否定案例的数量 Precision（查准率）： 预测为正例的样本中真正正例的比例。 eg: 99正 1负 预测 1正√ 99负 TP/(TP
[机器学习] CCA&GLPCCA&MGLPCCA
心宝的博客
11-12 1828
参考：​​​​​​典型关联分析(CCA)原理总结 - 刘建平Pinard - 博客园 CCA ​ ​ ​​ CCA算法的特征分解求解 CCA是无约束优化问题，可以考虑用拉格朗日乘子法求解。 这里投影矩阵Wx,Wy简化为投影向量a,b。 拉格朗日乘子法求导，优化目标函数其实就是优化拉格朗日系数。由于lambda=theta, 代入求导等式，可得关于 lambda方的等式。 我们可以看到，lambda方其实就是左边矩阵的特征值。对左边矩阵进行特征分解，找出最大值，取平方根，就是最大的l...
[机器学习] 优化器Adam
心宝的博客
03-11 1620
参考：pytorch优化器详解：Adam_拿铁大侠的博客-CSDN博客_pytorch中adam优化器参数 从Momentum、RMSprop到Adam - 简书 Adam计算过程 为方便理解，以下伪代码和论文略有差异，其中蓝色部分是比RMSProp多出来的。 torch.optim.Adam(params, #模型里需要被更新的可学习参数 lr=0.001, #学习率 betas=(0.9, 0.99...
[机器学习] 第二章 模型评估与选择 2.ROC：roc_curve原理及源代码详解
心宝的博客
05-05 1314
代码见：https://github.com/Carrie-Yi/machine_learning/tree/main/roc_curve
[机器学习] Pytorch19种损失函数理解[下]— Cosine、MultiMarginLoss、TripletMargin、CTCLoss、NLLL&NLLLoss2d、PoissonNLL
心宝的博客
06-22 1261
2 损失函数 2.13 cosine 损失 CosineEmbeddingLoss torch.nn.CosineEmbeddingLoss(margin=0.0, reduction='mean') 最相似的情况：余弦相似度cos(x1,x2) 为1,loss=0 参数： margin:默认值0 2-14 多类别分类的hinge损失 MultiMarginLoss 一个样本属于一个类。不同类分类损失可以设置权重 torch.nn.MultiMarginLoss(p=1, margin=1.0, wei
[机器学习] 第十三章 半监督学习 2. Proxy-label Methods
心宝的博客
07-26 965
目录 一、基本假设（Base Assumptions） 1.1 平滑假设（The Smoothness Assumption） 1.2 集群假设（The Cluster Assumption） 1.3 流形假设（The Manifold Assumption） 二、一致正则化 2.1 Pi-Model (ICLR2017) 2.2 Temporal Ensembling (ICLR2017) 2.3 Mean teachers (NIPS 2017) 2.4 Unsupervised Da
[机器学习] sklearn交叉验证(Cross-validation)
心宝的博客
04-12 943
https://blog.csdn.net/guanyuqiu/article/details/86006474 交叉验证(Cross Validation)用来验证分类器的性能一种统计分析方法， 原始数据(dataset)进行分组，一部分用来为训练集(train set),另一部分做为验证集(validation set)。 利用训练集训练分类器，然后利用验证集验证模型，记录最后的分类准确率为此分类器的性能指标。 那么什么时候才需要交叉验证呢？交叉验证用在数据不是很充足的时候。 如果数据样本量小于 一万条
[机器学习] 第三章 线性模型 2.特征抽取——LDA线性判别分析（Linear Discriminate Analysis）
心宝的博客
03-16 809
参考：https://blog.csdn.net/weixin_40604987/article/details/79615968 特征抽取： 降维 到一个新的特征子空间，压缩数据并尽可能保留信息。 1. 线性判别分析 Linear Discriminate Analysis, LDA LDA 可以提高数据分析过程中的计算效率，对于不适用与正则化的模型，可以降低因维度灾难带来的过拟合。 如图所示...
[机器学习] 第一章 绪论 1.P问题、NP问题、NP完全问题和NP难问题
心宝的博客
07-25 754
参考：https://zhuanlan.zhihu.com/p/73953567 参考：https://blog.csdn.net/qq_21768483/article/details/80430590 目录 P问题 NP问题 NP-complete问题 NP-hard问题 P问题 存在多项式时间算法的问题。(P：polynominal，多项式)。 NP问题 (NP:Nondeterministic polynominal，非确定性多项式) 能在多项式时间内验证得出一个正确解的问
[机器学习] 信息熵、交叉熵、KL散度、JS散度、Wasserstein距离
心宝的博客
06-13 730
参考：https://blog.csdn.net/Dby_freedom/article/details/83374650 参考：https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5 什么是熵(Entropy)？ 信息熵 独立事件的信息量可叠加。 比如“a. 张三今天喝了阿萨姆红茶，b. 李四前天喝了英式早茶”的信息量就应该恰好等于a+b的信息量，如果张三李四喝什么茶是两个独立事件。 如何衡量两个事件/分布之间的不同（一）：KL散度 我们上
决策树算法详解：从ID3到C4.5及CART
"这份文档详细介绍了决策树的构建方法，包括基于信息增益的ID3算法、信息增益率的C4.5算法，以及CART决策树。同时，文档还讨论了树剪枝的优缺点。" 决策树是一种广泛应用的机器学习算法，它通过创建类似于流程图的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值