统计学习方法——CART, Bagging, Random Forest, Boosting

最新推荐文章于 2025-03-13 21:31:01 发布
最新推荐文章于 2025-03-13 21:31:01 发布
阅读量8.5w 收藏 140
点赞数 28
分类专栏： Data Mining Machine Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abcjennifer/article/details/8164315
版权
本文深入探讨了CART、Bagging、Random Forest和Boosting四种统计学习方法，重点介绍了它们的原理与应用场景。CART通过迭代选择变量建立分类树；Bagging通过Bootstrap采样构建多个分类器并进行投票决定分类；Random Forest在每个节点随机选择属性分割，形成多棵树；Boosting则通过调整样本权重，构建多个弱分类器的加权组合。文中还提到了AdaBoost和RealBoost的权值更新过程，并对多类分类进行了讨论。文章末尾列举了数据挖掘十大算法，鼓励进一步学习。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文从统计学角度讲解了CART（Classification And Regression Tree）, Bagging(bootstrap aggregation), Random Forest Boosting四种分类器的特点与分类方法，参考材料为密歇根大学Ji Zhu的pdf与组会上王博的讲解。


  • CART（Classification And Regression Tree）
         Breiman, Friedman, Olshen & Stone (1984), Quinlan (1993)
         思想：递归地将输入空间分割成矩形
         优点：可以进行变量选择，可以克服missing data，可以处理混合预测
         缺点：不稳定

     example:
对于下面的数据，希望分割成红色和绿色两个类，原本数据生成是这样的：
Red class: x1^2+x2^2>=4.6
Green class: otherwise










经过不断分割可以得到最后的分类树：



  • 那么怎么分割才是最好的呢？即怎样
最低0.47元/天 解锁文章
集成学习：集成模型在图像识别中的应用——随机森林（Random Forest），Boosting方法，Bagging方法，Stacking XGBoost方法等
AI天才研究院
08-10 303
什么是集成学习？它是一种机器学习方法，它将多个模型或系统结合在一起，共同作出预测或决策，从而提升准确性、效率和能力。在图像识别领域，集成学习可以解决多分类问题、更复杂场景下的检测、识别任务，并取得优秀的效果。本文将介绍集成学习在图像识别领域中的应用，主要包括8个方面。在图像分类任务中，输入的是待分类的图像，输出的是图像所属的类别。图像分类算法通常分为基于规则的、基于统计的方法、基于模式的和深度学习方法等。如图1所示，基于深度学习的图像分类算法包括AlexNet、VGG、GoogLeNet、ResNet等。
机器学习技法笔记(7-11)——blending and bagging & Adaptive Boosting & decision tree & Random forest & GBDT
LETFLY'S LAB
03-12 868
7 Blending and Bagging 7.1 Motivation of Affregation 　　之前都是通过特征转换达到更好的分类目的，而有另一种思路就是将多个模型的分数线性组合起来以期得到更好的效果。它们的权重应为x的函数，这样能包含投票、取最大等多种情况。 7.2 Uniform Blending 　　本节从理论上探讨了blend的可行性：
机器学习算法-随机森林及集成学习简介
2301_79295435的博客
07-15 1172
在上一节中我们介绍了决策树算法，在实际工作中，我们即可以使用一棵决策树来解决问题，也可以使用多棵决策树来共同解决问题，也就是随机森林。随机森林指的是由多棵决策树组成，随机指的是每一个决策树的样本是随机从数据集中采样得到的。假设模型由三棵决策树组成，我们给每棵决策树都随机抽取样本进行训练，由于这三棵树的训练样本不一样，因此他们最后得到的决策结果有可能也不同。最后我们把这三棵树的结果做一个综合，就得到最终的决策结果。
Bagging，Boosting，Random Forest
little_yan的博客
10-22 388
       由于近期研究课题的变化，所以又涉猎的新的知识领域，本文只是对三个容易混淆的算法进行了汇总，其内容都是参考的其他博主的内容，本人只是编制在了一起。主要内容如下： Bagging即套袋法，其算法过程如下： 1.从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法（也叫自助采样）抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被...
机器学习——随机森林（Random Forest）
最新发布
zdx2585503940的博客
03-13 1747
随机森林是一种基于集成学习（Ensemble Learning）的机器学习算法，属于 Bagging 类型的集成方法。它通过构建多个决策树（Decision Tree）并将它们的预测结果进行集成，从而提高模型的准确性和鲁棒性。随机森林广泛应用于分类、回归以及特征选择等任务。随机森林通过构建多个决策树（Decision Tree）进行集成学习，减少了过拟合风险，提高了预测准确性。但是随机森林的模型较大，存储和预测速度较慢。
统计学习方法（五）：决策树和随机森林
一枚小白的博客
09-03 654
决策树：判别模型 问题描述：假设要对一批样本分K类。其中这些样本又有A个特征。如何生成一个树形结构，按照特征一层一层往下分。 决策树生成思路：有A个特征可供分类，但是先选哪个特征作为分类标准呢？决策树为了解决这个问题，首先会判断该特征的对样本的区分能力，比如在男宿舍这样一个条件下判断谁有ipad，如果用性别作为一个特征来判断分类，收益很小；如果我们用生活费多少来判断，那么对这个分类就有很大的帮助。决策树这里用信息增益来判断特征Ai对分类的影响大小，先选择对分类区分度大的特征，在用其他特征依次往下分。.
Ensemble learning:Bagging,Random Forest,Boosting
yqtao的博客
01-05 4350
概述\qquad集成学习(ensemble learning)构建多个基础的分类器，然后将多个分类器进行组合的一种学习方式。其通常也被称为多分类器系统(multi-classifer system)。下图显示了集成学习的一种普遍的方式：\qquad从图中可以看到，首先从原始的数据集中构造多个数据集，然后分别构造单个分类器，最后将这些分类器进行组合的到组合的分类器。\qquad一个很自然的问题：为什么
CART（分类回归树）原理和实现
dianliao7817的博客
10-19 582
前面我们了解了决策树和adaboost的决策树墩的原理和实现，在adaboost我们看到，用简单的决策树墩的效果也很不错，但是对于更多特征的样本来说，可能需要很多数量的决策树墩 或许我们可以考虑使用更加高级的弱分类器，下面我们看下CART（Classification And Regression Tree）的原理和实现吧 CART也是决策树的一种，不过是满二叉树，CART可以是强分...
机器学习——基于Bagging的集成学习：随机森林（Random Forest）及python实现
csdn_cc_try
02-20 2295
随机森林原理及其实现
机器学习笔记——集成学习、Bagging（随机森林）、Boosting（AdaBoost、GBDT、XGBoost、LightGBM）、Stacking
haopinglianlian的博客
11-18 1715
本笔记介绍机器学习中常见的集成学习：Bagging和Boosting。
7. train的模型标签
littlely_ll的博客
03-27 2202
7. train的模型标签下面是基本的模型类型或相关特征的列表。整个列表的内容是有争议的。例如，随机森林理论上使用特征选择，支持支持向量机可能不能有效地使用L2正则化等。 内容： Accepts Case Weights Bagging Bayesian Model Binary Predictors Only Boosting Categorical Predictors Only
简单易学的机器学习算法——集成方法(Ensemble Method)
null的专栏
06-16 4万+
一、集成学习方法的思想     前面介绍了一系列的算法，每个算法有不同的适用范围，例如有处理线性可分问题的，有处理线性不可分问题。在现实世界的生活中，常常会因为“集体智慧”使得问题被很容易解决，那么问题来了，在机器学习问题中，对于一个复杂的任务来说，能否将很多的机器学习算法组合在一起，这样计算出来的结果会不会比使用单一的算法性能更好？这样的思路就是集成学习方法。     集成学习方法是指组合多
集成学习Bagging并行策略之随机森林+树模型特征提取！
weixin_74009895的博客
10-10 470
集成学习Bagging并行策略之随机森林+树模型特征提取！
集成学习Bagging——随机森林模型
weixin_60200880的博客
07-19 2046
随机森林是机器学习领域最常用的算法之一，其算法构筑过程非常简单：从提供的数据中随机抽样出不同的子集，用于建立多棵不同的决策树，并按照Bagging的规则对单棵决策树的结果进行集成（回归则平均，分类则少数服从多数）。因此在随机森林回归器的参数当中，有数个关于数据随机抽样的参数。决策树的可以完美学习训练集上的内容，达到RMSE=0的程度。
集成学习：（1）bagging
sa726663676的博客
01-09 923
导读： Bagging相关知识 随机森林介绍 自己理解为什么集成学习的弱学习器组合能够达到高的效果？ 比如下例 弱分类器a 1 1 1 0 %75，只错了一个 弱分类器b0 1 1 1 %75，只错了一个 弱分类器c1 0 1 1 %75，只错了一个 弱分类器d1 1 0 1 %75，只错了一个 假如真实标签都是1,1，1,1，如果是投票制结合，上述都是75%的弱分类器就达到100%效果了。 Bagging bagging
2.CART: 分类与回归树
zstu_lihang的博客
01-06 1126
CART: 分类与回归树
决策树之CART（分类回归树）详解
热门推荐
zhihua_oba的博客
05-15 6万+
决策树之CART（分类回归树）详解 主要内容 CART分类回归树简介 CART分类回归树分裂属性的选择 CART分类回归树的剪枝 1、CART分类回归树简介   CART分类回归树是一种典型的二叉决策树，可以做分类或者回归。如果待预测结果是离散型数据，则CART生成分类决策树；如果待预测结果是连续型数据，则CART生成回归决策树。数据对象的属性特征为离散型或连续型，并不是区别分类树...
Task 02 决策树（下）CART分类代码实现(参考datawhale
小果一粒沙的博客
10-17 490
主要是改写CART回归代码 两点： 分裂节点的标准，从MSE变成了gini 选择输出节点的特征，由原来的取平均变成求最大值 先写一下大致的代码逻辑吧 总的来说 定义节点分类方式 定义一个树 如何生成一棵树 肯定是要进行节点的分裂 判断一个节点分裂还是不分裂 -> 定义分裂的条件 可以分裂之后，怎么办 -> 需要分裂的方式（即如何进行节点的分裂） 如何进行节点的分裂 -> 定义分裂的准则 找到哪个特征进行分裂 -> 利用信息准则进行判断，找到最优的特征和相应的最优切分.
评论 25
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值