Gradient Boosting算法

最新推荐文章于 2024-03-15 08:29:13 发布
最新推荐文章于 2024-03-15 08:29:13 发布
阅读量1.4k 收藏 8
点赞数
分类专栏： 人工智能 # 机器学习 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46072106/article/details/111387442
版权

1. 简介

  • GBDT是boosting的一种方法

1.1 基本原理

  • 训练一个模型m1,产生错误e1
  • 针对e1训练一个模型m2,产生错误e2
  • 针对e2训练第三个模型m3,产生错误e3 …
  • 最终预测结果是：m1+m2+m3+…

1.2 主要思想

  • 每一次建立单个分类器时，是在之前建立的模型的损失函数的梯度下降方向。
  • 损失函数越大，说明模型越容易出错，如果我们的模型能让损失函数持续的下降，则说明我们的模型在持续不断的改进，而最好
    的方式就是让损失函数在其梯度的方向上下降。
  • GBDT的核心在于每一棵树学的是之前所有树结论和的残差
    • 残差就是真实值与预测值的差值
    • 为了得到残差，GBDT中的树全部是回归树，不用分类树
  • Shrinkage（缩减）是 GBDT 的一个重要演进分支
    • Shrinkage的思想在于每次走一小步来逼近真实的结果，比直接迈大步的方式好
    • Shrinkage可以有效减少过拟合的风险。它认为每棵树只学到了一小部分，累加的时候只累加这一小部分，通过多学习几棵
      树来弥补不足。这累加的一小部分（步长*残差）来逐步逼近目标，所以各个树的残差是渐变的而不是陡变的。
  • GBDT可以用于回归问题（线性和非线性），也可用于分类问题

在这里插入图片描述

2. GBDT和随机森林的异同点

2.1 相同点

  • 都是由多棵树构成，最终的结果也是由多棵树决定。

2.2 不同点

  • 随机森林可以由分类树和回归树组成，GBDT只能由回归树组成。
  • 随机森林的树可以并行生成，而GBDT只能串行生成，所以随机森林的训练速度相对较快。
  • 随机森林关注减小模型的方差，GBDT关注减小模型的偏差。
  • 随机森林对异常值不敏感，GBDT对异常值非常敏感。
  • 随机森林最终的结果是多数投票或简单平均，而GBDT是加权累计起来。

3. GBDT的优缺点

3.1 优点

  • GBDT每一次的残差计算都增大了分错样本的权重，而分对的权重都趋近于0，因此泛化性能比较好。
  • 可以灵活的处理各种类型的数据。
    预测精度高

3.2 缺点

  • 对异常值比较敏感。
  • 由于分类器之间存在依赖关系，所以很难进行并行计算。
boosting算法
02-21
boosting 算法
集成学习（三）Gradient Boosting算法
guofei_fly的博客
11-24 900
一、算法的引出 在集成学习框架中，机器学习模型可写成各子学习器的组合： G(x)=∑m=1Mαmgm(x)G(x)=\sum\limits_{m=1}^M\alpha _mg_m(x)G(x)=m=1∑M​αm​gm​(x)在AdaBoost算法中提供了一种解读Boosting框架的视角，即每一轮子学习器基于上一轮子学习器的表现来调节样本权重，实现模型效果的提升。 但实质上，由于相邻两个子学习器...
【机器学习】Boosting算法-梯度提升算法（Gradient Boosting）
cxyhjl的博客
12-24 1万+
一、原理梯度提升算法是一种集成学习方法，它可以将多个弱分类器或回归器组合成一个强分类器或回归器，提高预测性能。梯度提升算法的核心思想是利用损失函数的负梯度作为残差的近似值，然后用一个基学习器拟合这个残差，再将其加到之前的模型上，从而不断地减小损失函数的值。梯度提升算法有以下几个特点：梯度提升算法可以用任何可微分的损失函数，如平方误差、绝对误差、交叉熵等，这使得它比其他基于指数损失函数的算法更加灵活...
从头了解Gradient Boosting算法
52AI人工智能
12-22 1915
目的虽然大多数Kaggle竞赛获胜者使用各种模型的叠加/集合，但是一个特定的模式是大部分集合的部分是梯度提升（GBM）算法的一些变体。以最新的Kaggle比赛获胜者为例：Michael Jahrer的解决方案是在安全驾驶的预测中的表示学习。他的解决方案是6个模型的混合。1 个LightGBM（GBM的变体）和5个神经网络。虽然他的成功归因于他为结构化数据发明的新的半监督学习，但梯度提升模型也发挥了
Boosting 系列算法——4. Gradient Boosting
Kanny
12-19 1250
1. 算法导出 Gradient Boosting 是一种用于回归和分类问题的机器学习技术，其产生的预测模型是弱预测模型的集成，如采用典型的决策树 作为弱预测模型，这时则为梯度提升树（GBT或GBDT）。像其他提升方法一样，它以分阶段的方式构建模型，但它通过允许对任意可微分损失函数进行优化作为对一般提升方法的推广。 Gradient Boosting 算法通过迭代的方式，将多个弱分类器结合成一个强分类器。最简单的解释是在最小二乘回归中，通过最小化均方误差1N∑i(y^i−yi)2{\tfrac {1}{N}
Gradient Boosting
o0Helloworld0o的博客
08-02 936
本文参考自：A Gentle Introduction to Gradient Boosting by Cheng Li 假设我们需要解决一个回归问题，评价指标是平方误差，并且我们已经有一个不错的模型F(x)F(x)F(x)，我们还想要继续提高它的性能，我们应该怎么办？ 回顾Adaboost算法，首先需要找到已有模型的不足（shortcomings）是什么，对于分类问题，已有模型的不足是那些...
Gradient Boosting算法原理分析，公式推导
weixin_41552582的博客
03-15 973
Boosting 是集成学习中非常重要的一类算法，其基本原理是串行生成一系列弱学习器（weak learner），这些弱学习器直接通过组合到一起构成最终的模型。主要的算法包括AdaBoost和Gradient Boosting 基本思想 Gradient Boosting 的基本思想是：串行地生成多个弱学习器，每个弱学习器的目标是拟合先前累加模型损失的负梯度，使得加上该弱学习器后的累加模型损失往先前累加模型损失的负梯度方向减少。因为是往负梯度方向，所以整体模型的损失降低的最快，因此每个弱学...
Gradient Boosting算法理论
wong2016的博客
03-27 5585
机器学习训练营——机器学习爱好者的自由交流空间（qq群号：696721295） 介绍 梯度提升(Gradient Boosting)是一种用于回归和分类问题的机器学习技术。它集成弱预测模型，典型的是决策树，产生一个强预测模型。该方法分阶段建立弱模型，在每个阶段通过优化一个任意可微的损失函数建立弱模型。下面，我们以简单的最小二乘回归解释梯度提升法的原理。 最小二乘法的目标是，通过最小化均方误差 ...
梯度提升（Gradient Boosting）算法
weixin_39910711的博客
04-27 1万+
目录 1 引言 2 梯度下降法 3梯度提升算法 4梯度提升原理推导 5对梯度提升算法的若干思考 5.1梯度提升与梯度下降的区别和联系是什么？ 5.2梯度提升和提升树算法的区别和联系？ 5.3梯度提升和GBDT的区别和联系？ 5.4 梯度提升算法包含哪些算法？ 5.5对于一般损失函数而言，为什么可以利用损失函数的负梯度在当前模型的值作为梯度提升算法中残差的近似值呢？ 1 引言 提升树利用加法模型与前向分歩算法实现学习的优化过程。当损失函数是平方误差损失...
Treelink模型测试报告
weixin_30316097的博客
03-04 310
1. 什么是Treelink Treelink是阿里集团内部的叫法，其学术上的名称是GBDT（Gradient Boosting Decision Tree，梯度提升决策树）。GBDT是“模型组合+决策树”相关算法的两个基本形式中的一个，另外一个是随机森林（Random Forest），相较于GBDT要简单一些。 1.1 决策树 应用最广的分类算法之一...
Boosting for PRML
VergiL Wang的专栏
05-26 156
Boosting方法： Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。 上图（图片来自prml p660）就是一个Boosting的过程，绿色的线表示目前取得的模型（模型是...
『机器学习笔记 』GBDT原理-Gradient Boosting Decision Tree
热门推荐
百川的博客
03-24 6万+
1. 背景 1.1 Gradient Boosting 1.2 提升树-boosting tree 回归问题提升树算法 2 Gradient Boosting Decision Tree 2.1 函数空间的数值优化 2.2 算法 Shrinkage 总结 附录 参考资料 相似算法： 1. 背景 决策树是一种基本的分类与回归方法。决策树模型具有分类速度快，模型...
机器学习模型—Gradient Boosting
最新发布
03-15 4万+
现代Gradient Boosting框架包括GBDT(Gradient Boosting Decision Tree)和XGBoost等。GBDT使用CART决策树作为基函数;而XGBoost在此基础上做了多项改进,包括引入二阶近似、并行计算优化、自动化特征捕捉等。此外,XGBoost还支持各种正则化策略,具有很高的效率和性能。总的来说,Gradient Boosting算法的优势在于可解释性强、抗噪性好、易并行化等,缺点则是可能过拟合、训练可解释性差等。它在回归、分类、排序等多个领域都有广泛的应用。
梯度提升(gradient boosting)算法
FeynmanWang的博客
07-28 1387
算法：\qquad 输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)},xi∈Rn,yi∈R；损失函数L(y,f(x));T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},x_i\in\Bbb R^n,y_i\in\Bbb R\text{；损失函数} L(y,f(x)); \qquad 输出：回归树 f^(x)\hat f(x) .
【机器学习】十五、Gradient boosting算法原理详解
Asher117的博客
12-14 7726
上篇文章分享了AdaBoost的算法原理，这篇文章将讲解Boosting家族中的梯度提升算法(Gradient boosting)。建议看本文之前，先看一下AdaBoost算法的原理。码字不易，喜欢请点赞！！！ 目录1.梯度提升算法简介2.GBDT回归3.GBDT分类4.GBDT优缺点 1.梯度提升算法简介 2.GBDT回归 3.GBDT分类 4.GBDT优缺点 参考文献 ...
梯度提升树（Gradient Boosting Tree）算法原理
莲君
06-22 3910
一 计算过程： 输入： *(xi,yi),T,L(x_i,y_i),T,L(xi​,yi​),T,L 1.初始化f0f_0f0​ 2.for t=1 to T do 2.1. 计算响应：yi^=−[∂L(yi,F(xi))∂F(xi)]F(x)=Ft−1(x)\hat{y_i}=-[\frac{\partial L(y_i,F(x_i))} {\partial F(x_i)}]_{F(x)=F_{...
gradient boosting算法
03-16
梯度提升算法（Gradient Boosting）是一种集成学习算法，它通过迭代地训练弱分类器并将它们组合成一个强分类器来提高预测准确性。在每次迭代中，算法会根据前一次迭代的残差来训练新的弱分类器，并将其加入到已有的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值