GBDT(Gradient Boosting Decision Tree)

最新推荐文章于 2022-05-01 11:51:46 发布
最新推荐文章于 2022-05-01 11:51:46 发布
阅读量348 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tercel_w/article/details/64443712
版权

GBDT(Gradient Boosting Decision Tree)

1.提升树

提升树模型的基分类器为决策树，每次训练的结果影响下一次训练的决策树。我们这里只谈回归问题，训练的结果为M个决策树相加。对于二分类问题只需把AdaBoost算法的基分类器换为决策树。

用前向分步模型表示

fm(x)=fm−1(x)+T(x;θm)

其中
T(xi;θm)=∑j=1JcjI(xi∈Rj)

T(xi;θm) 为回归决策树，它将特征空间分割J个区域，每个区域表示为 Rj ,每个区域设定一个值 cj ，当 xi∈Rj 时 决策树的输出为 cj 。

当使用平均方差损失函数时

L(yi,fm(xi))=12(yi−fm−1(xi)−T(xi;θm))2=12(rmi−T(xi;θm))2=L(rmi,T(xi;θm))

rmi 是当前模型 fm−1(x) 的残差 yi−fm−1(xi) 。因此我们可以用当前模型的残差去拟合下一颗决策树。

2.梯度提升

当损失函数不是平均方差时，用损失函数的负梯度近似去代替当前模型的残差

[−∂L(yi,f(x))∂f(x)]f(x)=fm−1(x)

算法：

  1. 初始化 f0(x)=argminc∑Ni=1L(yi−c)

  2. 对于 m= 1,2,.., M

    a 对于 i = 1,.., N 计算

    rmi=[−∂L(yi,f(x))∂f(x)]f(x)=fm−1(x)

    b 对 rm 拟合一颗回归树，得到第m颗树的叶结点区域 Rmj ,j=1,2,..,J

    c 对 j=1,2,,…J 计算

    cmj=argminc∑xi∈RmjL(yi,fm−1(x)+c)

    d 更新 fm(x)=fm−1(x)+∑jj=1cmjI(x∈Rmj)

  3. 得到提升数 fM(x) .

麓山coder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GBDT（Gradient Boost Decision Tree）
I am not a quitter.
09-13 9015
GBDT，叫法比较多，如Treelink、 GBRT(Gradient Boost Regression Tree)、Tree Net、MART(Multiple Additive Regression Tree)等。GBDT是决策树中的回归树，决策树分为回归树和分类树。GBDT可以用来做分类、回归。GBDT由多棵决策树构成，通常都是上百棵树，而且每棵树规模都较小（即树的深度会比较浅）。模型预测的
【机器学习基础03】GBDT（Gradient Boost Decision Tree）
chadlee
01-21 236
GBDT（Gradient Boost Decision Tree） GBDT的核心思想是从一个弱模型出发，之后每一个模型都在不断逼近之前之前所有模型与目标的差值（不断修修补补），迭代次数越多越逼近。下面分别以GBDT用于回归和分类为例： GBDT for regression Input: Data {(xi,yi)}i=1n\left\{\left(x_{i}, y_{i}\right)\right\}_{i=1}^{n}{(xi​,yi​)}i=1n​, and a differentiable Lo
梯度提升决策树(Gradient Boosting Decision Tree，GBDT)
ywm_up
11-11 1万+
文章目录总结综述一、Regression Decision Tree：回归树二、Boosting Decision Tree：提升树算法三、Gradient Boosting Decision Tree：梯度提升决策树四、重要参数的意义及设置五、拓展 总结 回归树： 用均方误差的最小二乘法作为选择特征、划分树节点的依据，构造回归树 提升树： 迭代多颗回归树，新树以上一棵树的残差来构造。最终结果是树相同位置节点值的和。 梯度提升决策树： 在提升树的基础上，用梯度来替代残差构造新树。 综述 GBDT(Gradi
GBDT(Gradient Boosting Decision Tree) 没有实现只有原理
DarkScope从这里开始
05-03 14万+
阿弥陀佛，好久没写文章，实在是受不了了，特来填坑，最近实习了(ting)解(shuo)到(le)很多工业界常用的算法，诸如GBDT,CRF,topic model的一些算法等，也看了不少东西，有时间可以详细写一下，而至于实现那真的是没时间没心情再做了，等回学校了再说吧。今天我们要说的就是GBDT(Gradient Boosting Decision Tree)
机器学习 --- 迭代决策树(GBDT)
Nireus的博客
07-07 1423
简介迭代决策树GBDT（Gradient Boosting Decision Tree）也被称为是MART（Multiple Additive Regression Tree)）或者是GBRT（Gradient Boosting Regression Tree），是一种基于集成思想的决策树模型。 Boosting，迭代，即通过迭代多棵树来共同决策。这怎么实现呢？难道是每棵树独立训练一遍，比如A这个
GBDT(Gradient Boosting Decision Tree)基本原理
weixin_33898876的博客
11-23 618
GBDT相对于经典的决策树，算是一种比较成熟而且可以实际应用的决策树算法了。我们想要理解GBDT这种决策树，得先从感性上理解这棵树的工作方式。首先我们要了解到，DBDT是一种回归树(Regression Decision tree)。回归树与分类树的差距请看我的文章《经典的回归树算法》。我们知道，分类树在每一次分支的时候，穷举每一个特征的每一个阈值，然后按照大于或者小于阈值的方式将其相互分开。这就...
Gradient Boosting Decision Tree (GBDT)
YQMind的博客
08-02 614
GBDT也是集成学习Boosting家族的成员，Boosting是各个基学习器之间有很强的依赖关系，即串行。GBDT限定了基学习器只能使用CART回归树。 GBDT是一个加法模型，采用前向分步算法进行求解 GBDT在函数空间利用梯度下降法进行优化，算法原理如下： LLL是损失函数，TTT是想迭代的次数 ...
Gradient Boosting Decision Tree
10-30
**梯度提升决策树(Gradient Boosting Decision Tree, GBDT)**是一种广泛应用的机器学习算法，尤其在分类和回归任务中表现出色。它结合了决策树（Decision Tree）的易理解和模型透明性，以及梯度提升（Gradient ...
GBDT_Simple_Tutorial:python实现GBDT的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，庖丁解牛地理解GBDT。Gradient Boosting Decision Trees regression, dichotomy and multi-classification are realized based on python, and the details of algorithm flow are displayed, interpreted and visu
05-10
GBDT_Simple_Tutorial（梯度提升树简易教程） 简介 利用python实现GBDT算法的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，便于读者庖丁解牛地...| --- decision_tree.py 单颗树生成，包括节点划分
Decision Tree_decisiontree_决策树_
10-01
如CART（Classification and Regression Trees）、C4.5（ID3的升级版，使用信息增益比而不是信息增益）、随机森林（Random Forest）和梯度提升决策树（Gradient Boosting Decision Tree，GBDT）等。 随机森林通过...
林轩田《机器学习技法》课程笔记11 -- Gradient Boosted Decision Tree1
08-03
本次课程主要探讨了Adaptive Boosting（AdaBoost）算法在决策树模型中的应用，特别是如何将权重引入以优化决策树算法，以及如何通过Gradient Boosted Decision Tree（GBDT）来避免单一决策树的独裁现象。 首先，...
梯度提升树(GBDT)完整教程 V1.1 发布1
08-03
【梯度提升树(GBDT)完整教程 V1.1 发布1】 梯度提升树（GBDT）是一种集成学习方法，它通过迭代地构建决策树来逐步优化预测模型，从而实现对目标变量的高精度预测。在机器学习领域，GBDT被视为最强大的算法之一，...
GBDT算法整理
davidie的专栏
03-15 3万+
最近重点学习了gbdt算法，看了较多的博客文章，整理了一下这些比较有用的内容，包括算法理论、算法分析、代码剖析、注意事项等各个方面。 转载来源： http://www.cnblogs.com/rocketfan/p/4324605.html http://www.cnblogs.com/rocketfan/p/4365950.html http://www.cnblogs.com/
GBDT (Gradient Boosting Decision Tree)
doswynkfsw的博客
05-01 205
背景 GBDT是BT的一种改进算法。然后，Friedman提出了梯度提升树算法，关键是利用损失函数的负梯度作为提升树残差的近似值。 当使用平方损失时，负梯度就是残差。 算法模型 树模GBDT初始化ccc为所有标签的均值。 学习完第一棵树： Υj1=arg⁡min⁡⏟Υ∑xi∈Rj1L(yi,f0(xi)+Υ) \Upsilon_{j 1}=\underbrace{\arg \min }_{\Upsilon} \sum_{x_{i} \in R_{j 1}} L\left(y_{i}, f_{0}\left(
机器学习（三）GBDT（Gradient Boosting Decision Tree）迭代决策树
我的学习记录
06-22 8450
阿里的比赛一直是跟着大神们的脚步，现在大家讨论最多的
GBDT（MART） 迭代决策树入门教程 | 简介
热门推荐
w28971023的专栏
11-29 18万+
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下：                GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
Gradient Boosted Decision Trees（GBDT）详解
Learning from the mistakes
09-16 1万+
感受 GBDT集成方法的一种，就是根据每次剩余的残差，即损失函数的值。在残差减少的方向上建立一个新的模型的方法，直到达到一定拟合精度后停止。我找了一个相关的例子来帮助理解。本文结合了多篇博客和书，试图完整介绍GBDT的内容，欢迎大家来指正。 介绍 GBDT是一个应用很广泛的算法，可以用来做分类、回归。GBDT这个算法还有其它名字，如MART(Multiple Additiv...
局部加权线性回归（LWLR）
麓山coder
03-17 4206
局部加权线性回归（LWLR）对于线性回归算法，容易出现欠拟合，而多项式回归又容易出现过拟合。因此出现了局部加权回归模型y(i)=θT⋅x(i) y^{(i)}=\theta^T \cdot x^{(i)} 和线性回归的模型相同，但是对于每一个预测点，θ\theta都需要重新计算，并不是固定不变的。损失函数L(θ)=12M∑i=1mwi(yi−θTxi)2 L(\theta)= \frac 1 {2M
Gradient Boosting Decision Tree介绍
最新发布
04-20
Gradient Boosting Decision Tree（GBDT）是一种集成学习算法，它通过串行地训练弱分类器并将它们相互补充，从而构建一个强分类器。它使用梯度下降算法（Gradient Descent）来最小化损失函数，从而提高模型的整体性能。GBDT通常应用于将一组弱分类器组合成更强大的模型，以进行二分类和回归问题的预测。它可以通过使用不同的损失函数来满足许多不同的应用场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值