GBDT和Xgboost

最新推荐文章于 2024-06-23 09:53:25 发布
置顶 最新推荐文章于 2024-06-23 09:53:25 发布
阅读量1.2k 收藏 4
点赞数 2
文章标签： 机器学习 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guanjianlujing/article/details/109704506
版权
GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习方法，它通过负梯度来指导决策树的构建。Xgboost是GBDT的一种高效实现，包括损失函数的二阶展开、快速寻找分割点、防止过拟合的策略以及对缺失值的处理。Xgboost通过并行查找和CPU缓存优化提高效率，同时具备列抽样和shrinkage等防止过拟合的机制。
摘要由CSDN通过智能技术生成

GBDT

英文全称：Gradient Boosting Decision Tree 。

一句话解释：以决策树为基模型（base model），以损失函数的负梯度为学习目标的boosting集成模型

这句话有三个概念：决策树，损失函数的负梯度,boosting

对第一个基本概念的解释：

决策树主流有三类ID3,C4.5,CRAT树。gbdt的基模型是CART树。

id3使用信息增益作为分裂点选择

C4.5使用信息增益比作为分裂点选择

cart树使用基尼系数作为分裂点选择

第二个基本概念的解释：

损失函数的负梯度本身是优化算法中特征权重的更新方向和大小。为什么GDDT的基模型要去拟合损失负梯度，而不是拟合y,或者拟合y- ^y?

1.GBDT整体上是拟合y的，但是每个基模型不是去拟合y，如果是的话就是bagging集成模型，比如随机森林

2.GBDT的基模型为什么不是拟合残差。将下式一阶展开，可以发现若移动负梯度是最小化损失函数的方向。

如果不考虑正则项，并且使用平方误差，拟合残差是没有问题的。在有正则项的情况下就不再是损失函数最小了。

第三个基本概念的解释：

集成模型是把若干个基模型(也称“弱学习器”)按照一定的策略组合起来，发挥1+1>2的作用。集成模型主要有三种集成策略，bagging, stacking,boosting。

Bagging集成：各个基模型训练相互独立。在回归

最低0.47元/天 解锁文章
guanjianlujing
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？
05-10 1290
算法层面 1.XGB加了正则项，普通GBDT没有。防止过拟合。 T为叶子节点的数量，W为叶子的权重。 Y帽子 为预测值，Y为目标值。 gamma ,delta 为参数 2.xgboost损失函数是误差部分是二阶泰勒展开，GBDT 是一阶泰勒展开。所以损失函数定义的更精确。 3.对每颗子树增加一个参数，使得每颗子树的权重降低，防止过拟合，增加这个参数叫shrinkage方法。对特征进行降采样，灵感来源于随机森林，除了能降低计算量外，还能防止过拟合。 4.实现了利用分捅/分位数..
随机森林、GBDT和xgboost
ZIZIBONG'S BLOG
05-14 727
RF 和 GBDT联系和区别 1、RF（随即森林） 原理 用随机的方式建立一个森林，森林里面有很多的决策树，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 2、RF 优缺点 优点： 在数据集上表现良好，两个随机性的引入，使得随机森林不容易陷入过拟合。 在当前的很多数据集上，相对其他算法有着很大的优势，两个随机性的引入，使得随机森林
gbdt和xgboost算法详解
01-24
该文档详细介绍了机器学习算法中的GBDT和XGboost 两大神器
GBDT和XGboost介绍
xavier_muse的博客
11-23 1353
注：本文转自https://blog.csdn.net/legendavid/article/details/78904353并对文章进行了优化（原文没有图片），对方也是转载，原作者不知哪位大神。 GBDT（Gradient Boosting Decision Tree）是一种基于迭代所构造的决策树算法，它又可以简称为MART（Multiple Additive Regression Tree）...
机器学习各个算法的优缺点！（下篇） 建议收藏。
最新发布
m0_61249789的博客
06-23 814
选择适当的深度学习算法通常取决于问题的性质、数据类型和计算资源的可用性。选择适当的降维方法通常取决于数据的性质、问题的要求以及计算资源的可用性。不同的降维方法适用于不同的问题和数据类型。贝叶斯方法在处理不确定性、概率建模、优化和模式识别等方面具有广泛的应用，但不同的分支适用于不同类型的问题和数据。选择适当的贝叶斯方法通常取决于问题的要求和计算资源的可用性。选择适当的聚类方法通常取决于数据的性质、问题的要求以及计算资源的可用性。选择适当的神经网络架构通常取决于问题的性质、数据类型和计算资源的可用性。
GBDT和XGBoost
知识搬运工的博客
04-29 1550
写在最开头，对GB的理解： 1、Gradient Boosting：每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。在Gradient Boost中，每个新的模型的建立是为了使得之前模型的残差往梯度方向减少（当然也可以变向理解成每个新建的模型都给予上一模型的误差给了更多的关注）， ...
机器学习基础知识（四）--- 从gbdt到xgboost
热门推荐
china1000的专栏
04-09 3万+
gbdt（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。 xgboost是陈天奇大牛新开发的Boosting库。它是一个大规模、分布式的通用Gradient Boosting（GBDT）库，它
GBDT和xgboost
qq_26890109的博客
02-28 282
gbdt（gradient boost decision tree）：梯度提升决策树；由多棵决策树组成，每棵决策树都是回归树random forest（随机森林）：随机森林中的每棵树都是由从训练集中抽取的样本训练得到的；同时在构建树时随机选择特征xgboost集成学习序列集成方法：所有学习器按顺序排列组合起来并行集成方法：各个学习器并行排列bagging，boosting，stackingbagg...
GBDT与XGboost小结
ZYXpaidaxing的博客
04-16 769
划重点——AdaBoost + 决策树 = 提升树                 Gradient Boosting + 决策树 = GBDTGBDT（Gradient Boosting Decision Tree）1.算法原理：GBDT（梯度提升决策树），是一种基于boosting串行式的集成学习方法，通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回...
GBDT、XGBoost、LightGBM的区别和联系
景风眠的博客
03-12 1415
本文详细阐述了GBDT、XGBoost和LightGBM的区别和联系。
机器学习之GBDT、XGBoost
liuy9803的博客
06-10 2953
一、梯度提升决策树GBDT        GBDT（Gradient Boosting Decision Tree）是Boosting算法的一种，每轮迭代是在上一轮弱学习器的损失函数梯度下降的方向上，训练产生新的弱学习器，所有弱学习器加权组合得到最终的强学习器。GBDT对弱学习器的要求是要足够简单，即低方差&高偏差，一般深度不会超过5，叶子节点的数量也不会超过10，默认选择CART回归树。...
GBDT的介绍
dong-技术驱动人生
08-22 1万+
一.GBDT简介：         GDBT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。它在被提出之初就和SVM一起被认为是泛化能力（generalization）较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起广泛关注。         GBDT是一个应用很广泛的算法，可以用来做分...
机器学习模型——GBDT和Xgboost
qq_60688380的博客
04-08 1330
GBDT（Gradient Boosting Decision Tree，简称GBDT）梯度提升决策树，是Gradient Boost 框架下使用较多的一种模型，且在GBDT中，其基学习器是分类回归树也就是CART，且使用的是GBDT这个算法还有一些其他的名字, MART（Multiple Additive Regression Tree)，GBRT（Gradient Boost Regression Tree)，Tree Net，Treelink等。
GBDT与XGBoost
Major_S的博客
08-21 381
GBDT与XGBoostGBDT与XGBoostGBDT与XGBoost
GBDT、XGBoost、LightGBM算法详解
酒酿小圆子呀～
05-23 1469
在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。
GBDT和Xgboost：原理、推导、比较
小太阳~
03-23 1万+
写在前面 网上有很多关于GBDT和Xgboost的文章，但是我在读的时候感觉对于提升树、GBDT和Xgboost之间的关系，以及他们和残差、梯度的关系，所以自己整理了一下，涉及的知识点比较多。Xgboost证明部分主要来源于论文，这里加入了自己的理解，以及对几者关系的说明。 在看本篇博文之前可以先看下提升树的相关内容，这样理解起来会思路更清晰。 提升树、GBDT和Xgboost的简单介绍如下： ...
机器学习-GB、GBDT、XGboost、Adaboost
qq_34229228的博客
11-22 1784
概念 argmin 的含义是什么？ 最通俗的理解：表示使目标函数取最小值时的变量值 算法 梯度提升决策树 XGBoost与GBDT算法的区别： 传统的GBDT在优化的时候只用到了一阶导数信息，而XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数，并且XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。 另外XGBoost还支持线性分类器，通过在代价函数中加入正...
"GBDT和XGBOOST的区别及演进：深度解析
GBDT（Gradient Boosting Decision Tree）和XGBoost（eXtreme Gradient Boosting）是两种常用的机器学习算法，它们在原理和实现层面上有一些区别。 首先，GBDT是一种集成学习算法，它通过多个弱学习器（一般是决策...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值