树模型：决策树、随机森林（RF）、AdaBoost、GBDT、XGBoost、LightGBM和CatBoost算法区别及联系

最新推荐文章于 2024-05-16 22:04:25 发布
最新推荐文章于 2024-05-16 22:04:25 发布
阅读量2.8k 收藏 39
点赞数 9
分类专栏： 机器学习 文章标签： 机器学习 决策树 算法 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50626322/article/details/126062509
版权

一、算法提出时间

1966年，决策树算法起源于E.B.Hunt等人提出。

1979年，Quinlan（罗斯.昆兰）提出了ID3算法，掀起了决策树研究的高潮，让决策树成为机器学习主流算法。

1993年，Quinlan（罗斯.昆兰）提出了C4.5算法。

1995年，Freund等人提出AdaBoost算法。

1999年，Friedman在其论文中最早提出GBDT。

2001年，Breiman提出随机森林算法。

2014 年 3 月，XGBOOST 最早作为研究项目，由陈天奇提出<

最低0.47元/天 解锁文章
渣渣zheng
关注
  • 9
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
决策树与Adaboost
04-19
决策树是一种描述概念空间的有效的归纳推理办法。 基于决策树的学习方法可以进行不相关的多 概念学习，具有简单快捷的优势，已经在各 个领域取得广泛应用
adaboost 决策树
05-22
分类算法的实现“Adaboost”与各种弱学习者。弱分类器有决策树，树桩
机器学习：随机森林RF总结
qq_24394635的博客
12-19 1984
1、随机森林（Random Forest，简称RF），顾名思义就是以树为基本单位的集成学习模型。每棵树都会得到一个分类结果，进行投票，森林最终选择投票最多的类别作为最终结果。随机体现在，用于训练单个决策树的样本与特征是通过随机选择产生。其中样本的抽取多选择有放回的随机抽取。随机抽取的优点在于极大地避免了因为决策树之间过高的的相似性从而导致的过拟合问题。 2、决策树的生长模式： 如果训练集中的样本数...
LightGBM算法的一些说明
blinkyou001的博客
05-16 995
LightGBM算法是微软亚洲研究院（MSRA）于2017年提出的一种梯度提升算法。该算法在XGBoost算法的基本原理基础上进行了优化。主要是运行效率和支持类别特征的优化。
决策树、随机森林、GBDT和xgboost 简要说明与对比
samoyan的博客,记录技术成长~
07-07 1502
1、决策树 1）ID基于信息增益为准则来选择最优划分属性 缺点：ID3决策树会倾向于那些取值较多的属性来分割树，所以会有一定的偏好。 2）C4.5：以信息增益率为准则来选择最优的划分属性 C4.5决策树倾向于首先从所有的候选划分属性中找出信息增益高于平均水平的属性，再从中选择使增益率最高的属性来分割树。 3、CART(Classification and Regression tree)分类回归树 ：以基尼系数为准则选择最优分割属性，可同时使用分类和回归 2、随机森林： 1）随机森林是.
经典算法 | XGBoost、LightGBM、CatBoost比较
Tinky2013的博客
02-05 6704
XGBoost、LightGBM、CatBoost比较 1 概述 在深度学习红极一时的情况下，boosting算法仍然有其用武之地，尤其在训练样本量较少、训练时间较短、缺乏调参先验等情况下，boosting算法仍然保持着其优势。kaggle比赛中boosting算法更是占据了大多数席位。本文总结了多篇文献和博客中对于三种算法的介绍，从多角度对这几种具有代表性的 boosting 算法进行对比，方便...
[转] AdaBoost 与决策树模型的比较
Vincent_Chu的博客
06-03 1702
在 sklearn 中 AdaBoost 默认采用的是决策树模型，我们可以随机生成一些数据，然后对比下 AdaBoost 中的弱分类器（也就是决策树弱分类器）、决策树分类器和 AdaBoost 模型在分类准确率上的表现。 如果想要随机生成数据，我们可以使用 sklearn 中的 make_hastie_10_2 函数生成二分类数据。假设我们生成 12000 个数据，取前 2000...
集成学习adaboost算法与决策树结合
weixin_46177988的博客
07-25 596
经过测试，代码运行效果与该文章所计算的结果相同。训练集采用的西瓜数据集3.0的密度和含糖率。也可以用一个简单的训练集进行测试。
机器学习中的算法：决策树模型组合之GBDT
02-25
本文来自于csdn，本文从informationgain和决策树两个方面介绍了机器学习的算法，希望对您的学习有帮助。决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将...
11. 决策树 GBDT XGBoost的区别1
08-04
决策树、GBDT、XGBoost的区别和集成学习方法 决策树是机器学习中常用的学习器，通过从根建立树来决策叶子节点的分裂。常见的决策树算法有ID3、C4.5、CART等，每种算法都有其特点，例如ID3/C4.5决策树用信息熵计算...
传统机器学习分类算法python实现源码集合(KNN决策树贝叶斯随机森林SVM等).zip
03-13
传统机器学习分类算法python实现源码集合(KNN决策树贝叶斯随机森林SVM等).zip 传统机器学习分类算法 1.KNN 2.朴素贝叶斯 3.决策树 4.Adaboost 5.模型评估与选择 6.SVM 传统机器学习分类算法python实现源码集合(KNN...
GBDT原始论文
04-23
最早提出GBDT思想的论文，很多GBDT的原理在里面都已经系统性地进行了阐述，比看博客要更系统
Matlab实现RF-Adaboost随机森林结合Adaboost多变量时间序列预测（完整源码和数据)
02-07
1.Matlab实现RF-Adaboost随机森林结合Adaboost多变量时间序列预测（完整源码和数据) RF-AdaBoost是一种将RF和AdaBoost两种机器学习技术结合起来使用的方法，旨在提高模型的性能和鲁棒性。具体而言，AdaBoost则是一...
分别基于决策树、随机森林、XGBoost、Adaboost的用户逾期行为预测python源码.zip
最新发布
05-31
分别基于决策树、随机森林、XGBoost、Adaboost的用户逾期行为预测python源码.zip分别基于决策树、随机森林、XGBoost、Adaboost的用户逾期行为预测python源码.zip分别基于决策树、随机森林、XGBoost、Adaboost的用户...
机器学习小白：决策树和adaboost
qq_44925057的博客
06-08 753
好文链接：
第五讲：决策树+随机森林+AdaBoost（上）
leo_fighting
07-09 2454
主要内容 3 逻辑斯蒂回归（下） 3.5 逻辑斯谛回归和凸优化问题 3.5.1 什么是凸优化问题 3.5.2 为什么说逻辑斯谛回归是一个凸优化问题 3.6 多项逻辑斯谛回归 3.6.1 模型 3.6.2 策略 3.6.3 算法 3.6.4 正则化 3.7 对比感知机、SVM和逻辑斯谛回归 3.7.1 损失函数 3.7.2 分离超平面 3.7.3 算法性能 4 集成学习（...
【机器学习】最常用的决策树算法！Random Forest、Adaboost、GBDT 算法
fengdu78的博客
05-23 177
本文主要介绍基于集成学习的决策树，其主要通过不同学习框架生产基学习器，并综合所有基学习器的预测结果来改善单个基学习器的识别率和泛化性。集成学习常见的集成学习框架有三种：Bagging，Boosting 和 Stacking。三种集成学习框架在基学习器的产生和综合结果的方式上会有些区别，我们先做些简单的介绍。1.1 BaggingBagging 全称叫 Bootstrap aggregating，看...
决策树、随机森林、GBDT、xgboost、lightgbm、CatBoost相关分析
u014033218的专栏
03-31 9461
基础 一切树模型的都是基于特征空间划分的条件概率分布，都具有方差大的特性，对量纲无要求，所以我们先介绍几种条件概率公式： 一,条件概率 二,全概率 三,贝叶斯 1. 决策树 递归树，它将特征空间划分为互不相交的单元。递归划分特征 ，生成多个if-then的规则，每条规则对应一个从根节点到叶子节点的条件概率分布单元，该单元由总的条件概率分布计算得来，表示给定...
CatBoost, XGBoost, AdaBoost, LightBoost，各种Boost的介绍和对比
2201_75499313的博客
12-11 878
在集成学习中，目标是用多种学习算法最成功地训练模型。Bagging方法是一种集成学习方法，将多个模型并行应用于同一数据集的不同子样本。Boosting是另一种在实践中经常使用的方法，它不是并行构建的，而是按顺序构建的，目的是训练算法和模型。弱算法先对模型进行训练，然后根据训练结果对模型进行重组，使模型更容易学习。然后将修改后的模型发送给下一个算法，第二个算法比第一个算法学习起来更容易。本文包含了不同的增强方法，从不同的角度解释了这些方法并进行了简单的测试。
adaboost gbdt xgboost lightgbm
06-28
### 回答1： Adaboost、GBDT、XGBoost和LightGBM都是机器学习中常用的集成学习算法。 Adaboost是一种迭代算法，通过不断调整样本权重和分类器权重，逐步提高分类器的准确率。 GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习算法，通过不断迭代，每次训练一个新的决策树来纠正前面树的错误，最终得到一个强分类器。 XGBoost是一种基于GBDT的算法，它在GBDT的基础上引入了正则化和并行化等技术，使得模型更加准确和高效。 LightGBM是一种基于GBDT的算法，它采用了基于直方图的决策树算法和互斥特征捆绑技术，使得模型训练速度更快，占用内存更少，同时也具有较高的准确率。 ### 回答2： adaboost(Adaptive Boosting) 是一种基于不同权重的弱分类器的算法，它通过迭代的方式来逐步提高分类器的准确性。在每轮迭代中，它会调整训练样本的权重，使得前一轮分类错误的样本在当前轮得到更多的关注。最终，通过组合这些弱分类器来构建一个强分类器。其优点在于不易过拟合，但需要耗费大量的时间来训练和预测。 gbdt(Gradient Boosting Decision Tree) 是一种基于决策树的集成学习算法，它通过迭代的方式来提升分类器的准确性。基于训练样本和实际输出的误差进行梯度下降，将它们作为下一个分类器的训练数据。每个分类器都在之前所有分类器得到的残差的基础上进行训练，并且将它们组合成一个最终的分类器。在训练过程中，为了避免过拟合，可以限制决策树的深度等参数，并采用交叉验证等技术。gbdt可以处理缺失数据、不平衡分类和高维度数据等问题，但需要注意过拟合的问题。 xgboost(Extreme Gradient Boosting) 是一种基于决策树的集成学习算法，它在gbdt的基础上引入了正则化项和精细的特征选择，进一步提高了分类器的准确性和效率。通过Hessian矩阵对损失函数进行二阶泰勒展开，引入正则化约束，可以优化损失函数，并通过交叉验证等技术选择最优的超参数。xgboost还支持GPU加速，提高模型训练的速度和效率，但需要更多的计算资源。xgboost在分类、回归和排名任务中表现优异，但需要注意过拟合和计算量的问题。 lightgbm是微软旗下一款高效、快速、分布式的梯度提升框架，也是一种基于决策树的集成学习算法，定位在处理高维度数据和大规模数据集上。lightgbm采用了GOSS(Gradient-based One-Side Sampling)技术和EFB(Exclusive Feature Bundling)技术对数据进行处理，大大减少数据的内存占用和训练时间。同时，还支持并行计算和GPU加速，提高了模型的速度和效率。lightgbm在排序、分类、回归等任务中表现出色，只是对离群值敏感，需要对数据进行预处理。 ### 回答3： Adaboost，Gradient Boosting Decision Tree (GBDT)，XGBoost和LightGBM都是常见的集成学习算法，它们用于提高模型在复杂数据集上的准确度，并处理复杂数据集上遇到的问题。 Adaboost是一种迭代算法，每次迭代它使用提高错误分类样本的加权值，并降低正确分类样本的加权值，以便让前一个弱分类器无法捕捉并由后续分类器学习。Adaboost弱分类器快速训练和预测，且不需要太多超参数调整，但是它倾向于过度拟合数据，并且实力可能不足以解决大型数据集的问题。 GBDT使用决策树作为弱分类器，将每一棵树的预测结果作为下一棵树的预测输入，最后对所有树的预测结果进行加权求和。GBDT可以很好地处理线性和非线性问题，但是它倾向于过度拟合数据，需要进行精细调整参数，并且需要较长时间的训练时间。 XGBoost结合了GBDT的优势和树的强大性质。它采用了一些优秀的技术，如Boosting树算法，Shrinkage，Column Sampling和Pruning Nodes，以提高模型的性能和降低过拟合风险。XGBoost可以处理大规模数据集和高维数据集，并且速度较快，但需要的资源较多，如内存、计算能力和高质量的数据集。 LightGBM是XGBoost的新一代版本，采用了GOI（Gradient-based One-side Sampling）算法和Histogram-based Gradient Boosting方法来加快训练速度和降低内存占用。GOI算法通过对数据进行一侧采样来提高训练速度，而直方图梯度提升方法将节点分裂建模为一个直方图分桶过程，以减少节点分裂的计算成本。LightGBM对大数据集的处理能力很强，速度相对较快，但对于处理小数据集的效果可能不明显。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值