【机器学习】：梯度提升决策树（GBDT）

最新推荐文章于 2024-09-23 12:50:51 发布
最新推荐文章于 2024-09-23 12:50:51 发布
阅读量658 收藏 2
点赞数
文章标签： 算法 决策树 python 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Geeksongs/article/details/120663255
版权
GBDT是一种迭代的决策树算法，由多棵回归树构成，适用于回归和分类任务。每棵树的目标是拟合前一棵树的残差，从而不断优化模型。文中详细介绍了回归树、提升树的概念，并对GBDT的工作原理进行了深入探讨，包括其与平方误差、残差的关系以及如何通过负梯度进行优化。此外，还讨论了GBDT相较于其他决策树模型的参数设置，如树的深度，并解释了为何GBDT能在较浅的深度下达到高精度。
摘要由CSDN通过智能技术生成

综述

GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。
  GBDT中的树是回归树(不是分类树)，GBDT用来做回归预测，调整后也可以用于分类。
  GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。业界中，Facebook使用其来自动发现有效的特征、特征组合，来作为LR模型中的特征，以提高 CTR预估(Click-Through Rate Prediction)的准确性(详见参考文献5、6)；GBDT在淘宝的搜索及预测业务上也发挥了重要作用(详见参考文献7)。

一、Regression Decision Tree：回归树

回归树总体流程类似于分类树，区别在于，回归树的每一个节点都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化平方误差。也就是被预测出错的人数越多，错的越离谱，平方误差就越大，通过最小化平方误差能够找到最可靠的分枝依据。分枝直到每个叶子节点上人的年龄都唯一或者达到预设的终止条件(如叶子个数上限)，若最终叶子节点上人的年龄不唯一，则以该节点上所有人的平均年龄做为该叶子节点的预测年龄。(引用自一篇博客，详见参考文献3)

 
回归树示例

  回归树算法如下图(截图来自《统计学习方法》5.5.1 CART生成)：

回归树生成算法
最低0.47元/天 解锁文章
Geeksongs
关注
机器学习中的分类算法：梯度提升决策树（GBDT）
EbCoder的博客
09-24 265
本文中，我们介绍了GBDT算法的原理和实现方法，并提供了相应的Python源代码。梯度提升：梯度提升是一种优化技术，通过最小化损失函数的负梯度来逐步提升模型的性能。在GBDT中，每一次迭代都会计算当前模型对训练数据的负梯度，并用它来训练下一个弱分类器。GBDT算法是一种基于决策树的集成方法，通过迭代的方式逐步改善模型的准确性。迭代训练：在每一轮迭代中，计算当前模型对训练数据的负梯度，然后用负梯度作为目标训练一个新的决策树。更新模型：将新的决策树添加到当前模型中，并更新模型的预测值。
机器学习分类算法：梯度提升决策树（GBDT）
YOLOv3333的博客
09-18 272
它通过迭代地训练多个决策树模型，并将它们组合起来，以提高分类性能。本文介绍了GBDT算法的原理，并提供了一个使用Python实现的示例代码。它通过迭代地训练多个决策树模型，并将它们组合起来，以提高分类性能。在每一轮迭代中，GBDT通过拟合负梯度的残差来训练新的决策树模型。GBDT算法基于梯度提升的思想，通过迭代的方式逐步提升模型的性能。在每一轮迭代中，GBDT学习一个新的决策树模型，该模型试图纠正前一轮迭代中的预测误差。通过将多个决策树模型组合起来，GBDT能够逐步减小整体模型的误差，从而提高分类性能。
GBDT-梯度提升决策树
一蓑烟雨任平生
12-20 1340
梯度提升决策树（Gradient Boosting Decision Tree, GBDT）是一种基于boosting集成学习思想的加法模型，训练时采用前向分布算法进行贪婪学习，每次迭代都学习一棵CART树来拟合之前t−1棵树的训练样本真实值的残差。
GBDT：梯度提升决策树
jbcsimple
08-10 6718
GBDT：梯度提升决策树 字数2887 阅读1208 评论0 喜欢2 综述   GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   
【机器学习】揭秘GBDT：梯度提升决策树
最新发布
2301_76820214的博客
09-23 3288
GBDT，全称为Gradient Boosting Decision Tree，即梯度提升决策树，是一种迭代的决策树算法，也被称作MART（Multiple Additive Regression Tree）。它通过将多个决策树（弱学习器）的结果进行累加来得到最终的预测输出，是集成学习算法的一种，具体属于Boosting类型。
GBDT 梯度提升树（Gradient Boosting Decision Tree）长篇全解
qq_49183286的博客
11-21 7365
GBDT梯度提升树
机器学习boosting算法—梯度提升树(GBDT)
ice_actor的博客
01-19 999
1 回归树算法分析 Adaboost算法是提升树的特殊情况，主要用于分类问题，对于回归问题怎么处理呢？？ 已知一个训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},假设输入空间为χ\chi,如果将输入空间划分为J个互不相交的区域R1,R2,...,RJR_1,R_2,...,R_J并在每个区域
机器学习 之梯度提升树GBDT
weixin_30566111的博客
03-23 165
目录 1、基本知识点简介 2、梯度提升树GBDT算法 2.1 思路和原理 2.2 梯度代替残差建立CART回归树 1、基本知识点简介 在集成学习的Boosting提升算法中，有两大家族：第一是AdaBoost提升学习方法，另一种是GBDT梯度提升...
梯度提升树GBDT详解
zhong_ddbb的博客
05-15 1050
文章目录梯度提升树(GBDT)回归梯度提升算法分类梯度提升算法二分类GBDT算法多分类GBDT算法GBDT正则化优缺点优点缺点 梯度提升树(Gradient Boosting Decison Tree, GBDT)是Boosting(提升)中的一种重要算法。 Adaboost算法利用前一轮迭代弱学习器的误差率来更新训练集的权重，训练得到新的基模型。在GBDT的迭代中，假设前一轮迭代得到的强学习器是ft−1(x)f_{t-1}(x)ft−1​(x), 损失函数是L(y,ft−1(x))L(y, f_{t-1}
Scikit-Learn梯度提升决策树（GBDT）
Java/Python大数据成长之路
06-20 1299
梯度提升决策树（Gradient Boosting Decision Tree，GBDT）是一种迭代的决策树算法，它通过构造一组弱学习器（决策树），并把多颗决策树的结果累加起来作为最终的预测输出。在每一轮迭代中，GBDT都会训练一棵新的决策树，目标是减少上一轮模型的残差。Boosting的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。负梯度方向是梯度下降最快的方向。GBDT的核心点在于不断迭代，每一轮迭代都尝试修正上一轮模型的错误，逐渐提高模型的预测性能。
3. 梯度提升决策树（GBDT）详解
gss123_123的博客
05-23 5901
一、提升树 二、梯度下降 三、梯度提升树（GBDT） 附录： 1.机器学习之梯度提升决策树(GBDT)_谓之小一的博客-CSDN博客_梯度提升决策树 2.GBDT的原理、公式推导、Python实现、可视化和应用 - 知乎 3. 《统计学习方法 第二版》.李航 ...
大白话GBDT算法-通俗理解GBDT原理
06-21
本课程分为4个模块。 第一个模块通过预测年龄的直观案例理解GBDT算法流程。 第二个模块通过GBDT的三要素：GB(梯度提升)，DT(回归树)和Shrinkage(缩减)理解GBDT的算法核心。 第三个模块通过剖析分类和回归损失函数来讲解GBDT在分类和回归方面的应用。 第四个模块通过手动方式一步步拆解讲解GBDT回归，二分类，多分类的过程，还原真实迭代流程。 第五个模块通过真实案例讲解GBDT的工作中所用API。 资料： 视频：
机器学习十大常用算法的通俗理解
09-29
机器学习的十大常用算法的简单理解，通俗易懂地讲解了十大机器学习常用算法的概念及用法
对梯度提升树(GBDT)的通俗理解
孙坤的博客
06-02 722
综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。   GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。业界中，Facebook使用其来自动发现.
机器学习（五）——梯度提升决策树(GBDT)
快乐星球小怪兽的博客
04-22 2141
梯度提升决策树（GBDT）1 基于残差学习的梯度提升树2 梯度提升决策树（GBDT）3 算法实践 梯度提升决策树（GBDT），在传统机器学习中算得上是TOP3的算法。GBDT使用的基学习器是CART回归树，而且无论是回归还是分类，都使用的是回归树。为什么不使用决策树呢？因为GBDT每次迭代要拟合的是梯度值，也就是说样本标签是连续的，因此需要使用回归树。（对于决策树的构造原理可以参考我这篇文章） 1 基于残差学习的梯度提升树 要想理解GBDT，我们先来看一下基于残差学习的梯度提升树(即，基于残差学习的加法模型
GBDT算法原理及实战
热门推荐
weixin_44852067的博客
04-19 1万+
GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，是一种迭代的决策树算法，又叫 MART(Multiple Additive Regression Tree)，它通过构造一组弱的学习器(树)，并把多棵决策树的结果累加起来作为最终的预测输出。该算法将决策树与集成思想进行了有效的结合。
机器学习算法（十五）：GBDT
weixin_39910711的博客
02-15 8100
关于树的几个ensemble模型的比较（GBDT、xgBoost、lightGBM、RF）： https://blog.csdn.net/xwd18280820053/article/details/68927422 1 决策树 决策树详见：https://blog.csdn.net/weixin_39910711/article/details/79468798 ...
机器学习知识点总结 - xgboost, GBDT
Raymond_Love的博客
02-16 1514
GBDT和XGBoost在工业界和竞赛界有着广泛的应用。虽然使用起来并不难，但若能知其然也知其所以然，则会在使用时更加得心应手。本文主要是根据对陈天奇大神的PPT和原始论文的学习，梳理一下GBDT和XGBoost的“知识点”。 首先我们先列出CART，GB，GBDT和XGBoost之间的关系。 CART是分类与回归树（Classification and Regression Trees），是...
Python实现梯度提升决策树机器学习算法
本资源旨在向读者介绍和实现一种强大的机器学习算法——梯度提升决策树（Gradient Boosting Decision Tree, GBDT）。该算法是一类基于决策树集成技术的算法，通过迭代地建立多个决策树模型，每一棵新的决策树都尝试...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值