[机器学习 - 算法原理] CART树剪枝的理解

最新推荐文章于 2021-05-06 15:37:37 发布
最新推荐文章于 2021-05-06 15:37:37 发布
阅读量987 收藏 2
点赞数 2
分类专栏： 机器学习基础 文章标签： 机器学习 CART剪枝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maomaona/article/details/79682743
版权

看了李航的《统计学习方法》中CART树的剪枝，不很清晰，又查了网上一些相关资源，终于明白了整个过程，个人的理解如下（原本写在OneNote上，公式粘贴过来不能显示，就贴图了）：

but...既然剪来剪去都要所有子树一起去做交叉验证...那直接做交叉验证不行吗...？

maomaona
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Decision Tree：CART、剪枝
Coding、Learning and Sharing
04-13 439
Decision Tree：CART、剪枝   决策树的重要性和入门可以参考前面两篇文章，尤其是入门的ID3算法： http://isilic.iteye.com/blog/1841339、http://isilic.iteye.com/blog/1844097 Classification And Regression Tree(CART)也是决策树的一种，并且是非常重要的决策树。除...
cart剪枝
lian740930980的博客
04-13 1101
1 为什么要剪枝 出现这种情况的原因： 原因1：噪声、样本冲突，即错误的样本数据。 原因2：特征即属性不能完全作为分类标准。 原因3：巧合的规律性，数据量不够大。 剪枝 (pruning)是决策树学习算法对付"过拟合"的主要手段。主动去掉一些分支来降低过拟合的风险。 2 常用的减枝方法 决策树剪枝的基本策略有"预剪枝" (pre-pruning)和"后剪枝"(post- pruning) 。 预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性.
CART剪枝过程
Milkha的博客
05-06 563
Classification And Regression Tree，CART，分类与回归树，一种二叉决策树。作为一种决策树算法，CART与其他决策树一样，由特征选择、树的生成和剪枝组成。本文介绍CART算法生成决策树 T0T_0T0​ 后如何对其进行剪枝（将子树变成叶子节点）。 剪枝过程分为两步： 从T0T_0T0​的底端开始不断剪枝，直到T0T_0T0​的根节点，形成一个子树序列{T0,T1,...,Tn}\{ T_0, T_1, ..., T_n \}{T0​,T1​,...,Tn​} 通过交叉
机器学习算法------4.3 cart剪枝
程序猿-凡白的博客
07-21 572
文章目录4.3 cart剪枝学习目标1 为什么要剪枝2 常用的减枝方法**2.1 预剪枝****2.2** 后剪枝：3 小结 4.3 cart剪枝 学习目标 了解为什么要进行cart剪枝 知道常用的cart剪枝方法 1 为什么要剪枝 图形描述 横轴表示在决策树创建过程中树的结点总数，纵轴表示决策树的预测精度。 实线显示的是决策树在训练集上的精度，虚线显示的则是在一个独立的测试集上测量出来的精度。 随着树的增长，在训练样集上的精度是单调上升的， 然而在独立的测试样例上测出的精度先上升后下降。
机器学习--详解CART树剪枝原理和过程
进击的菜鸟
11-04 9672
       这一节主要讲前面多次的提到的决策树问题，前面的决策树生成算法递归的产生决策树，直到不能继续分支或者达到要求为止，这样的决策树往往对训练数据的分类很准确，因为他就是基于训练数据的熵或者基尼不存度进行分类的，因此对训练数据的会产生过拟合现象，而对未知的数据则没有那么准确。过拟合的本质原因是决策树在训练时追求如何提高训练数据的准确度，而没有考虑构件出的决策树的复杂性，直观上我们能想象出当决...
机器学习C++源码解析-决策树cart算法-源码+数据
08-05
C++是一种强大且高效的编程语言，适用于开发各种复杂系统，包括机器学习算法。在C++中实现决策树和CART算法，可以提供更好的性能和可扩展性，特别是对于大规模数据集。本资源可能包含了C++源代码，这些源代码提供了...
机器学习-基于Python实现的机器学习算法之决策树.zip
03-03
决策树是一种广泛应用于数据挖掘和机器学习的算法，它通过构建一种树状模型来做出预测。在本资料包中，重点讲述了如何使用Python语言来实现决策树算法。Python因其丰富的库支持，成为机器学习领域非常受欢迎的编程...
机器学习-基于决策树开发的分西瓜算法（西瓜书数据集）
最新发布
04-27
- 通过理解决策树的工作原理，我们可以更好地理解和应用其他复杂的机器学习算法，如随机森林、梯度提升树等，它们都是决策树的扩展。 总结，通过决策树开发的分西瓜算法，我们不仅学习了决策树的基础知识，还了解...
机器学习决策树—CART算法.pptx
04-23
CART 算法是一种常用的机器学习算法，广泛应用于分类和回归问题中。其优点是生成的决策树是结构简洁的二叉树，易于解释和实现。但是， CART 算法也存在一些缺点，例如容易过拟合，需要剪枝来缓解过拟合。
机器学习之CART树
weixin_43457608的博客
12-26 7272
CART树1、CART树介绍2、Cart树生成 1、CART树介绍 分类回归树(CART,Classification And Regression Tree)算法是一种决策树分类方法。 它采用一种二分递归分割的技术，分割方法采用基于最小距离的基尼指数估计函数，将当前的样本集分为两个子样本集，使得生成的的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构简洁的二叉树。 其核心思想与ID3和C4.5相同，主要的不同处在于CART在每一个节点上都采用二分法，即每个节点都只能有两个子节点，最后构成的
CART构建与剪枝
fujianfei99的博客
08-06 648
上周实现了离散变量的决策树的构建（ID3算法），它的做法是每次选取当前最佳的特征来分割数据，并按照该特征所有的可能值来切分。也就是说，如果一个特征有4种取值，那么数据被切分成4份，一旦按某特征切分后，便固定死了，该特征在之后的算法执行过程中将不会再起作用，显然，这种切分方式过于迅速。而此外，ID3算法不能直接处理连续型特征。 再补充一下用ID3算法生成决策树的图例。 我们的例子是李航的《统计学习
CART剪枝算法详解
tian_tian_hero的博客
01-09 1万+
CART剪枝算法 CART剪枝算法从“完全生长“的决策树的底端剪去一些子树，使决策树变小（模型变简单），从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：首先从生成算法产生的决策树T0底端开始不断剪枝，直到T0的根节点，形成一个子树序列{T0,T1 ,…, Tn}；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。 1． 剪枝，得到子树序列 子树的损失函数： ...
5-7 CART树的剪枝
幸福在路上
04-08 361
CART树的剪枝算法 输入：剪枝前的CART树 输出：剪枝后的CART树 原理 令： 损失函数为： Ca(T)=C(T)+a∣T∣(1) C_a(T) = C(T) + a|T| \tag {1} Ca​(T)=C(T)+a∣T∣(1) 对树上的所有结点计算： 假如该结点不split，该结点的损失为： Ca(t)=C(t)+a∣T∣(2) C_a(t) = C(t) + a|T| \tag {2}...
决策树之CART剪枝（小白入门篇）
贪吃燕子的博客
02-18 900
CART概念 【名称】CART，全称为Classification And Regression Tree，分类与决策树。【组成】节点（根节点、内部节点、叶子结点）和有向边。【决策过程】依据信息增益进行决策的，增益越大说明这个特征对最后的分类影响越大（从上层到下层信息增益是逐渐下降的）。【决策依据】在分类中我们以最大的信息增益为决策依据；在回归中，我们以损失函数作为我们的优化目标，使其达到最小就是...
CART剪枝详解
热门推荐
MrTriste的博客
08-06 1万+
CART之剪枝详解我们这里用的是代价复杂度剪枝算法。首先我们将一颗充分生长的树称为T0T_0 ，我们希望减少树的大小来防止过拟化，但又担心去掉一些节点后预测的误差会增大，那么如何达到这两个变量之间的平衡则是问题的关键，因此我们用一个变量α\alpha 来平衡，因此损失函数定义为如下： Cα(T)=C(T)+α|T| C_{\alpha}(T)=C(T)+\alpha|T| T为任意子树，C(T
CART后剪枝理解
weixin_40666190的博客
05-27 679
转载https://blog.csdn.net/zhengzhenxian/article/details/79083643 最近也是要找工作，在看李航的《统计学方法》 在决策树部分基本都能明白（可能我明白的的是错的） 对于CART剪枝的细节不是很明白 看了这个博主写的CART决策树部分，觉得讲得不错，细节满满 有一点个人理解，写一写 首先输入：生成好的回归/分类树 它没有类似正则化的惩罚项，所以...
CART的剪枝算法
zrh_CSDN的博客
07-03 1581
CART剪枝算法从“完全生长”的决策树的底端减去一些子树，使决策树变小，从而能够对未知数据有更准确的预测。CART算法由两步组成：首先从生成算法产生的决策树 底端开始不断剪枝，直到 的根结点，形成一个子树序列 ；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。从整体树 开始剪枝，对 的任意内部结点t，以t为单结点...
"机器学习决策树CART算法原理与应用
总之，CART算法作为一种强大而高效的机器学习算法，能够有效地解决分类问题，并在各个领域都具有着广泛的应用前景。它不仅能够帮助我们更好地理解数据和模式，还能够通过对决策树的构建和优化，为我们提供更准确、更...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值