XGBOOST GBDT

最新推荐文章于 2024-04-08 22:29:55 发布
最新推荐文章于 2024-04-08 22:29:55 发布
阅读量547 收藏
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/superzzx0920/article/details/72970082
版权

把握机器学习算法关键点有两个，1、loss function的理解(包括：特征X/标签Y配对的建模，X/Y配对建模的loss function的设计)。2、loss function的求解过程。这两点串接在一起构成了算法实现的主框架。

  • 随机森林
  • 梯度提升树 Gradient Tree Boosting
    • R GBM
    • sklearn.ensemble.GradientBoostingCalssifier
  • 带有正则度的梯度提升：Gradient Tree Boosting with Regularization
    • RGF（Regularized Greedy Forest）
    • XGBOOST
1.1X/Y建模

这里写图片描述

  • 这里写图片描述 K代表树的个数，将每棵树叶子节点的值相加作为最终数值
  • 以上建模方式输出为浮点标量，适应于拟合问题单对于分类问题要怎么处理呢？实际可以通过Logistic Regression分类模型启发。LR是预测的浮点数+建模X/Y满足Bernouli分布来表征。数学式子满足这里写图片描述,进行变换后得出这里写图片描述这样就将模型浮点预测值与离散分类问题建立了联系。这里写图片描述

这里写图片描述

1.2 损失函数设计

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

1.3损失函数设计

分类问题经典loss建模方式是基于极大似然估计，典型的二项分布概率建模。
这里写图片描述

2、损失函数求解
  • Additive Trainning(Boosting)

这里写图片描述
这里写图片描述

  • 二阶泰勒展开

这里写图片描述
这里写图片描述

  • 结构分

这里写图片描述

  • 信息增益

这里写图片描述
损失函数本质为包含T（T为叶子节点个数），为凸函数故可以通过求函数极值点获得最优解。
求解过程梳理如下

  1. 损失函数进行二阶泰勒展开（由加性可知，此为对误差进行建模），展开后当前待学习的树是变量，需要进行优化求解
  2. 树优化求解分为两个环节：
    • 枚举每个叶节点上特征潜在的分裂点
    • 对每个潜在的分裂点，计算如果以这个分裂点对叶节点进行分割以后，分割钱和分割后的损失函数的变换情况。 因为损失函数满足累积性，每个叶节点对应的权重独立于其他叶节点（只落在该叶节点上的样本有关），所以不同叶节点上的损失函数满足单调累加性质，只要保证每个叶节点上的样本累积loss最小，整体样本集的loss也就是最小。
      上面两个环节，基于当前数结构，最优分裂点完成树结构的优化
3、xgboost相比传统gbdt有何不同？xgboost为什么快？xgboost如何支持并行？
  • 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。
  • 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。
  • xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。
  • Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（补充：传统GBDT的实现也有学习速率）
  • 列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
  • 对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。
  • xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。
  • 可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点。

参考文献：
知乎：机器学习算法中GBDT和XGBOOST的区别有哪些？

陈天奇 xgboost
xgboost导读实战
xgboost调参
人工智能公众号

superzzx0920
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GBDT和Xgboost
guanjianlujing的专栏
11-15 1231
GBDT 英文全称：Gradient Boosting Decision Tree 。 一句话解释：以决策树为基模型（base model），以损失函数的负梯度为学习目标的boosting集成模型 这句话有三个概念：决策树，损失函数的负梯度,boosting 对第一个基本概念的解释： 决策树主流有三类ID3,C4.5,CRAT树。gbdt的基模型是CART树。 id3使用信息增益作为分裂点选择 C4.5使用信息增益比作为分裂点选择 cart树使用基尼系数作为分裂点选择 第二个基本概念的解释
GBDT和XGboost介绍
xavier_muse的博客
11-23 1326
注：本文转自https://blog.csdn.net/legendavid/article/details/78904353并对文章进行了优化（原文没有图片），对方也是转载，原作者不知哪位大神。 GBDT（Gradient Boosting Decision Tree）是一种基于迭代所构造的决策树算法，它又可以简称为MART（Multiple Additive Regression Tree）...
GBDT和xgboost
qq_26890109的博客
02-28 276
gbdt（gradient boost decision tree）：梯度提升决策树；由多棵决策树组成，每棵决策树都是回归树random forest（随机森林）：随机森林中的每棵树都是由从训练集中抽取的样本训练得到的；同时在构建树时随机选择特征xgboost集成学习序列集成方法：所有学习器按顺序排列组合起来并行集成方法：各个学习器并行排列bagging，boosting，stackingbagg...
GBDT和XGBoost
weixin_45606655的博客
02-10 215
集成学习–GBDT和XGBoost GBDT和XGBoost是属于集成学习中的Boosting，相较于基本的AdaBoosting算法，这两个算法更加广泛的应用在各种比赛中。 GBDT GBDT（Gradient Boosting Decision Tree）又称为梯度提升树，其是基于决策树或者回归树为单学习器的集成学习工具。GBDT的基本思想是拟合残差，残差简单的一种有yi−f(xi)y_i-f...
Xgboost与Gbdt的区别
01-07
GBDT以CART作为基分类器，CART以gini指数选择特征，gini指数越小，纯度越高。... GBDT在优化时只用到一阶导数信息，Xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数，具有更高的精度。此外，
GBDT/xgboost PPT
10-14
### GBDT与XGBoost知识点详解 #### 一、提升方法概述 提升方法是一种将弱学习算法转化为强学习算法的统计学习技术。在分类学习中，提升方法通过不断调整训练数据的权重分布来构建一系列的基本分类器（弱分类器），...
3.3 XGBoost.ipynb
01-11
XGboost实现demo,可以更好的对xgboost有一个理解
RF、GBDT、XGBoost
01-06
RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即...
GBDT与XGBoost · 语雀1
08-03
GBDT与XGBoost GBDT（Gradient Boosting Decision Tree）和XGBoost都是梯度提升算法的重要代表，都是基于决策树的集成学习方法。它们的共同点是使用梯度提升来优化损失函数，提高模型的预测准确性。 GBDT GBDT是...
GBDT与XGBoost
Major_S的博客
08-21 373
GBDT与XGBoostGBDT与XGBoostGBDT与XGBoost
机器学习模型——GBDT和Xgboost
最新发布
qq_60688380的博客
04-08 1195
GBDT（Gradient Boosting Decision Tree，简称GBDT）梯度提升决策树，是Gradient Boost 框架下使用较多的一种模型，且在GBDT中，其基学习器是分类回归树也就是CART，且使用的是GBDT这个算法还有一些其他的名字, MART（Multiple Additive Regression Tree)，GBRT（Gradient Boost Regression Tree)，Tree Net，Treelink等。
机器学习之GBDT、XGBoost
liuy9803的博客
06-10 2902
一、梯度提升决策树GBDT        GBDT（Gradient Boosting Decision Tree）是Boosting算法的一种，每轮迭代是在上一轮弱学习器的损失函数梯度下降的方向上，训练产生新的弱学习器，所有弱学习器加权组合得到最终的强学习器。GBDT对弱学习器的要求是要足够简单，即低方差&高偏差，一般深度不会超过5，叶子节点的数量也不会超过10，默认选择CART回归树。...
从GBDT到XGboost
朱晓海的博客
10-26 376
从GBDT到XGboost1. GBDT1.1 GBDT用于回归问题1.2 GBDT用于二元分类问题1.3 GBDT用于多元分类问题2. XGboost附录 弱分类器---CART分类树 1. GBDT 假设我们前一轮迭代得到的强学习器是Ft−1(x), 损失函数是L(y,Ft−1(x)), 我们本轮迭代的目标是找到一个CART模型的弱学习器ft(x)，让本轮的损失损失L(y, Ft (x))=L...
GBDT、RandomForest、Xgboost
weixin_44766179的博客
04-05 4979
GBDT： GBDT是通过采用加法模型（基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。通过多轮迭代，每轮产生一个弱分类器，每个分类器在上一轮分类器的残差（这里的残差是当前模型的负梯度值）基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的，因为训练的过程就是通过降低偏差来不断提高分类器的精度。（弱分类器一般选择CART） GBDT的优缺点 ： ...
GBDT的介绍
热门推荐
dong-技术驱动人生
08-22 1万+
一.GBDT简介：         GDBT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。它在被提出之初就和SVM一起被认为是泛化能力（generalization）较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起广泛关注。         GBDT是一个应用很广泛的算法，可以用来做分...
Adaboost XGboost GBDT 随机森林这些算法的区别
05-25
这些算法都是集成学习（ensemble learning）算法，通过组合多个弱学习器（weak learners）来构建一个强学习器（strong learner），用于解决分类和回归问题。 Adaboost是一种迭代算法，每一轮训练数据集的样本权值都会被重新调整，使得之前被错误分类的样本的权值增大，而被正确分类的样本权值减小。每一次迭代都会产生一个新的弱分类器，最终将所有弱分类器加权组合成一个强分类器。 XGboost是一种梯度提升算法，通过最小化损失函数的梯度来训练每一轮的模型，然后将每一个弱学习器添加到强学习器中。XGboost相比于Adaboost可以更好地处理高维数据和稀疏数据。 GBDT（Gradient Boosting Decision Tree）也是一种梯度提升算法，但是使用的是决策树作为基础学习器。每一轮迭代都会训练一个新的决策树，然后将之前训练的决策树和新的决策树加权组合成一个强分类器。 随机森林是一种集成学习算法，由多个决策树组成。在训练每个决策树时，会随机选取一部分特征和样本进行训练，以避免过拟合。最终的分类结果由所有决策树的投票决定。 总体来说，这些算法都是用于集成多个弱学习器以提高分类或回归的准确率。它们之间的差异在于采用的基础学习器、迭代方式和训练过程中的随机性等方面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值