决策树的优化-剪枝

最新推荐文章于 2024-03-13 06:16:00 发布
VIP文章 最新推荐文章于 2024-03-13 06:16:00 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 机器学习 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_36391198/article/details/98679230
版权

为什么决策树需要剪枝？我们可以类比于神经网络的“过拟合”问题来进行思考。在神经网络之中，会出现过拟合问题，即出思安对特定的样本识别率升高，对其余样本的识别率降低。在决策树中也会出现类似的问题，会出现枝条过多的现象，是问题复杂化，准确率却得不到上升。

决策树的剪枝分为2种，一种是预剪枝，第二种是后剪枝。

预剪枝：在创建进行到某一个节点处，我们先计算当前节点的准确率p^{1}，然后在按照该节点的属性进行分类，在计算分类后的准确率p^{2}，比较p^{1}和p^{2}，如果p^{1}较大则该节点不需要进一步的分枝，否则如果p^{2}较大则该节点需要进行分枝操作。

后剪枝：首先我们要有一颗完整的决策树，然后从该决策树的叶子节点的父节点开始

最低0.47元/天 解锁文章
天才狂想者
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
决策树原理及实现（一）--ID3算法及改进（C4.5）
crazy_scott的博客
04-16 4429
决策树是机器学习中很经典也很直观的算法。本文介绍决策树的基本思路和原理。 引言 决策树（Decision Tree）是一种基本的分类与回归算法。决策树是一种树形结构，这在计算机中的数据结构中很常见，也很容易理解：我们选择一种属性对其进行划分，通过其属性的取值不同划分节点，直到最后属性完全相同或不能继续划分为止。 因此，其学习的关键在于如何选择最优划分属性。这也是我们接下来要重点介绍的...
决策树算法——拟合优化
echo666的博客
11-12 3776
一、决策树算法原理 上一篇文章简单、直接、粗暴的使用了决策树算法对鸢尾花数据集进行分类，关于决策树算法的原理，以我的理解：就是用能最大概率的区分不同类别标签的特征值作为分裂节点。 常用的算法是：CART 和 ID3 算法。 CART 算法采用gini系数最小的来决定使用哪种特征来进行分裂； ID3算法采用信息增益最大的特征来决定使用哪种特征来进行分裂； 二、决策树的最优参数 这次的数据集使用稍微复杂一点的泰坦尼克号预测生死的数据。 重复的代码不啰嗦，直接上 import numpy as np import
13 决策树与随机森林参考程序.zip_horsebhr_matlab_优化_决策树_剪枝
07-15
决策树建立的简单示范，随机森林的创建与绘图
机器学习之优化决策树
qq_54129718的博客
11-25 1103
连续值处理，预剪枝和后剪枝
决策树算法优化（一篇文章 理解）
最新发布
2303_79387663的博客
03-13 1545
综上所述，决策树算法虽然有一些缺点，但通过剪枝、集成学习、连续变量处理、特征选择优化以及参数调优等方法，可以有效地优化其性能，提高模型的泛化能力和预测准确性。当然，这只是一个简要的概述，对于每个优化策略，都有更深入的研究和实践可以探索。希望这对你有所启发！
决策树参数调优建议
evolution23的博客
12-25 8719
建议一： 三个最重要的参数为:树的数目、树的深度和学习率。建议参数调整策略为: – 采用默认参数配置试试 – 如果系统过拟合了,降低学习率 – 如果系统欠拟合,加大学习率 建议二： – n_estimators和learning_rate:固定n_estimators为100(数目不大，因为树的深度较大,每棵树比较复杂),然后调整learning_rate – 树的深度max_depth:从...
【决策树】理解、构建和优化
Shea_Qiu的博客
09-02 414
决策树是一种基于树状结构的分类和回归算法，可以用于处理带有标签的数据集。它可以帮助我们理解数据集中各个特征之间的关系，并推断出哪些特征最重要。决策树在零散、复杂和非线性数据上表现得比较好，因此常被广泛应用于金融、医疗、电商等领域。
机器学习算法之决策树（下）决策树优化策略
leva的博客
07-24 2788
某晚上同学生日去唱KTV，他公司的一个美女工程师非要和我拼酒。她说如果她输了可以答应我一件事，而我输了同样也要答应她一件事。 结果我不出意外地赢了，于是迫不及待地带着她回家…嘿嘿嘿… 到家后，我看着她水汪汪的大眼睛，十分深情地说：”麻烦你帮我coding，顺便帮我debug。“ 之后我一个人躲在被窝里暗暗地称赞自己真的太特么机智了！ 决策树优化策略 剪枝优化 决策树过渡拟合一般情况是由于节点太多导致的，剪枝优化对决策树的正确率影响是比较大的，也是最常用的一种优化方式。 Random Forest 利用训练
后剪枝决策树分类器python
02-17
这是一个用python实现的决策树分类器，其样本集纯度指标为基尼指数，实现了后剪枝优化算法，有需要请下载
决策树学习及其剪枝算法
12-11
决策树学习及其剪枝算法研究论文。
模式识别与机器学习-决策树.zip
01-17
C4.5 算法是用于生成决策树的一种经典算法，是 ID3 算法的一种延伸和优化。 C4.5 算法对 ID3 算法主要做了一下几点改进： 1.通过信息增益率选择分裂属性，克服了 ID3 算法中通过信息增益倾向于选择拥有多个属性值...
决策树剪枝matlab代码-fast-multiboost-cw:一种非常快速有效的多类提升方法：MultiBoost-CW
06-20
决策树剪枝matlab代码代码作者：Gusheng Lin 联系人：或 此代码用于我们的 ACCV 论文。 请引用： [1] 林国胜、沉春华、Anton van den Hengel 和 David Suter； “使用坐标下降优化快速训练有效的多类提升”，ACCV...
决策树的实现和调优（sklearn,GridSearchCV）
traveler-leon的博客
06-21 6559
前言 上一篇讲了决策树的详细的原理。并手写了ID3的实现。 desision-tree详细原理介绍 本篇就从利用现有sklearn的包，实现决策树 决策树实现 决策树模型简单描述 sklearn提供了两种决策树模型 DecisionTreeClassifier --分类决策树，用于分类任务 DecisionTreeRegressor --回归决策树，用于回归任务 参数介绍 DecisionTreeClassifier 参数 class sklearn.tree.DecisionTreeClassifie
决策树（三）：实例调优
qq_42928743的博客
04-16 1350
通过实例对分类和回归决策树进行调优
15- 决策回归树, 随机森林, 极限森林 (决策树优化) (算法)
March_A的博客
02-14 1537
与分类树一样裂分指标，使用的是MSEMAE决策回归树，认为它是分类问题，只是，分的类别多一些！！！只要树，分类回归，其实就是分类多和少的问题少数服从多数，人多力量大，三个臭皮匠顶个诸葛亮。聚合模型所有朋友的意见投票, 少数服从多数（随机森林对应原理公式）牛一点的朋友多给几票，弱鸡一点的少给几票（Adaboost对应原理公式）Bagging 思想 + 决策树就诞生了随机森林。随机森林，都有哪些随机？bagging生成一颗决策树时，随机抽样。
决策树Decision Tree原理与实现技巧
敲代码的quant的博客
09-06 2943
本文出自Bin的专栏blog.csdn.net/xbinworld。 决策树 决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类...
决策树模型调优
法相的博客
07-15 3711
在上一篇用决策树判断广告的文章中，我们对数据做了简单的处理，过滤掉特征存在nan值的样本，利用决策树分类，得到了93.3%的准确率。 现在我们来用一些方法进一步提高准确率。 主要用到了PCA，SelectKBest，FeatureUnion，以及GridSearch
【机器学习】决策树剪枝优化及可视化
Daycym的博客
11-26 2562
前言 \quad\quad前面，我们介绍了分类决策树的实现，以及用 sklearn 库中的 DecisionTreeClassifier 和 DecisionTreeRegressor 类实现了分类决策树和回归决策树的一些案例。 具体可见：分类决策树与回归决策树 其中，我们也对决策树的不同深度对模型的欠拟合和过拟合的影响进行了比较。 本篇源代码可见：Github 一、欠拟合与过拟合 \quad...
决策树的后剪枝python
08-27
决策树的后剪枝是一种用于减小决策树过拟合的技术。在Python中，可以使用scikit-learn库来实现决策树的后剪枝。 下面是一个使用后剪枝的决策树示例： ```python from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split # 假设你已经有了训练数据和标签 X_train, X_test, y_train, y_test = train_test_split(train_data, train_labels, test_size=0.2) # 创建决策树分类器 dt = DecisionTreeClassifier() # 使用训练数据拟合决策树模型 dt.fit(X_train, y_train) # 进行后剪枝 dt.cost_complexity_pruning_path(X_train, y_train) # 获取不同 alpha 值对应的树模型 ccp_alphas, impurities = dt.cost_complexity_pruning_path(X_train, y_train) dts = [] for ccp_alpha in ccp_alphas: dt = DecisionTreeClassifier(ccp_alpha=ccp_alpha) dt.fit(X_train, y_train) dts.append(dt) # 选择最优模型 train_scores = [dt.score(X_train, y_train) for dt in dts] test_scores = [dt.score(X_test, y_test) for dt in dts] best_dt = dts[test_scores.index(max(test_scores))] ``` 在上面的代码中，我们首先通过train_test_split函数将训练数据划分为训练集和测试集。然后，创建一个决策树分类器并使用训练数据拟合模型。接下来，通过`cost_complexity_pruning_path`方法获取不同alpha值对应的树模型。然后，计算每个模型在训练集和测试集上的得分，并选择在测试集上表现最好的模型作为最优决策树模型。 注意，这只是一个简单的示例，实际应用中可能需要根据具体情况进行调参和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值