机器学习之GBDT

最新推荐文章于 2024-03-24 11:41:48 发布
最新推荐文章于 2024-03-24 11:41:48 发布
阅读量226 收藏
点赞数
原文链接：https://zhuanlan.zhihu.com/p/158633779?utm_source=wechat_session&utm_medium=social&utm_oi=54629349982208
版权

https://zhuanlan.zhihu.com/p/158633779?utm_source=wechat_session&utm_medium=social&utm_oi=54629349982208

目录

2.3 GBDT

2.3.1 GBDT相关问题

2.3.2 GBDT思想

2.3.3 GBDT缺点

2.3 GBDT

GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树，是Boosting算法的一种。

GBDT使用的弱学习器必须是CART，且必须是回归树。GBDT用来做回归预测，当然，通过设置阈值也能用于分类任务。在模型训练时，模型预测样本损失尽可能小。

2.3.1 GBDT相关问题

GBDT的直观理解是：模型的每一轮预测都和真实值有gap，这个gap称为残差。下一轮对残差进行预测，最后将所有预测结果想加，得到最终结果。GBDT每一棵树学习的是前面所有树结论和的残差。

残差和负梯度什么关系？

我们每次计算都是为了减少上次的残差，那我们在残差减少的梯度上建立新模型是不是就可以了呢？GBDT就是这么来做的。

shrinkage是啥？

同时，GBDT认为每棵残差树只学到了真实情况的一小部分，希望通过每次走一小步的方式逐渐逼近真实结果，认为这样比每次迈一大步的方式更容易避免过拟合，这就是shrinkage的思想。

2.3.2 GBDT思想

GBDT树的学习过程为：计算伪残差-> 生成基学习器 -> 目标函数优化 -> 更新模型

2.3.3 GBDT缺点

  • 基于残差的gbdt在解决回归问题上不算好的选择，对异常值过于敏感
  • 不适合高纬稀疏特征
  • 不好并行计算
smartbigwang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习入门之GBDT
daidadeguaiguai的博客
06-08 534
一、什么是GBDT算法 1.定义 GBDT (GradientBoostingDecisionTree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能的小。 GBDT 直观理解：每一轮预测和实际值有残差，下一...
大白话GBDT算法-通俗理解GBDT原理
06-25
本课程分为4个模块。第一个模块通过预测年龄的直观案例理解GBDT算法流程。第二个模块通过GBDT的三要素：GB(梯度提升)，DT(回归树)和Shrinkage(缩减)理解GBDT的算法核心。第三个模块通过剖析分类和回归损失函数来讲解GBDT在分类和回归方面的应用。第四个模块通过手动方式一步步拆解讲解GBDT回归，二分类，多分类的过程，还原真实迭代流程。第五个模块通过真实案例讲解GBDT的工作中所用API。资料： 视频：
GBDT算法原理
Rnan_prince的博客
08-26 1万+
一、基础知识 1.泰勒级数展开 2.梯度下降法 3.牛顿法 4.从参数空间到函数空间 二、GBDT 1 .DT：回归树 Regression Decision Tree 5.GBDT 适用范围 2. GB：梯度迭代 Gradient Boosting ...
集成学习-Boosting集成学习算法GBDT
数据掘金
10-28 959
GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。用ID3算法和C4.5算法学习得到的决策树，有可能导致模型过拟合，通常使用剪枝算法来解决。随着集成学习的发展，出现了比较典型的迭代决策树GBDT和随机森林RF，即将多棵单决策树进行模型组合，形成多决策树，可以看成Treelink。 GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的...
GBDT算法原理及实战
weixin_44852067的博客
04-19 1万+
GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，是一种迭代的决策树算法，又叫 MART(Multiple Additive Regression Tree)，它通过构造一组弱的学习器(树)，并把多棵决策树的结果累加起来作为最终的预测输出。该算法将决策树与集成思想进行了有效的结合。
GBDT和XGboost介绍
xavier_muse的博客
11-23 1319
注：本文转自https://blog.csdn.net/legendavid/article/details/78904353并对文章进行了优化（原文没有图片），对方也是转载，原作者不知哪位大神。 GBDT（Gradient Boosting Decision Tree）是一种基于迭代所构造的决策树算法，它又可以简称为MART（Multiple Additive Regression Tree）...
机器学习-基于集成学习的GBDT.zip
最新发布
06-29
机器学习 机器学习_基于集成学习的GBDT
GBDT-master_机器学习_
09-29
在这个"GBDT-master"项目中，重点是利用GBDT进行机器学习的预测和分类任务，特别是二分类问题。 GBDT的基本原理： 1. **梯度提升**：GBDT的核心思想是通过梯度下降法逐步减小训练数据的损失函数。每次迭代，GBDT...
机器学习中的算法：决策树模型组合之GBDT
01-27
gain和决策树两个方面介绍了机器学习的算法，希望对您的学习有帮助。决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。...
基于机器学习的量化选股研究
04-27
试将机器学习领域中两种较为成熟的学习排序算法GBDT和GBRank应用到选股 问题中。本文以技术分析为理论根据，先后构建了基于模式识别的短线选股策略 和基于动量和反转效应的长线选股策略。前者根据个股在过去一个月内...
机器学习5-GBDT
qq_42012732的博客
07-01 742
目录GBDT介绍CART回归树GB–Gradient Boosting 梯度提升树：DT–Regression Decistion Tree中的树一般是回归树：Shrinkage–缩减，循序渐进：GBDT算法原理GBDT实例GBDT分类算法GBDT 优缺点GBDT面试问题收集 GBDT介绍 梯度提升树（Gradient Boosting Decison Tree, 以下简称GBDT）是Boosting家族的一员。 GBDT也是迭代，使用了前向分布算法，无论是处理回归问题还是二分类以及多分类，弱学习器只能用C
机器学习算法（十五）：GBDT
weixin_39910711的博客
02-15 7158
关于树的几个ensemble模型的比较（GBDT、xgBoost、lightGBM、RF）： https://blog.csdn.net/xwd18280820053/article/details/68927422 1 决策树 决策树详见：https://blog.csdn.net/weixin_39910711/article/details/79468798 ...
机器学习集成学习——GBDT（Gradient Boosting Decision Tree 梯度提升决策树）算法
张小鱼的博客
05-23 1万+
DT－Decision Tree决策树，GB是Gradient Boosting，是一种学习策略，GBDT的含义就是用Gradient Boosting的策略训练出来的DT模型在前几年深度学习还没有大行其道之前，GBDT在各种竞赛是大放异彩。一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征
【机器学习】GBDT
Dong_ZH的博客
02-20 5642
GBDT(Gradient Boosting Decision Tree)，梯度提升树。它是一种基于决策树的集成算法。其中Gradient Boosting 是集成方法boosting中的一种算法，通过梯度下降来对新的学习器进行迭代。它是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一棵CART回归树。GBDT算法无论处理回归问题还是分类问题使用的决策树都是CART回归树，原因是GBDT每次迭代要拟合的是梯度值，是一个连续值，所以要用回归树。
GBDT-1
qq_46238275的博客
07-29 138
GBDT GBDT直观理解 概念： GBDT由三部分构成：DT(Regression Decistion Tree)、GB(GradientBoosting)和Shrinkage(衰减) 由多棵决策树组成，所有树的结果累加起来就是最终结果 思想：不断拟合残差，使残差不断减少 GBDT-回归树DT原理 回归树概念（区别分类树） 树模型做回归问题，相当于每一片叶子都输出一个预测值。预测值一般是该片叶子所含训练集元素输出的均值。 CART树的分类和回归的差异 CART回归树流程 GBDT-梯度提升GB
机器学习——GBDT算法
weixin_39753819的博客
03-24 881
本文介绍了梯度提升树（Gradient Boosting Decision Trees，GBDT）算法的原理、算法流程、理论公式，并与随机森林进行了对比。梯度提升树是一种基于决策树的集成学习方法，通过迭代地训练决策树来不断提升模型性能。相比于随机森林，梯度提升树是一种串行技术，每个决策树都在尝试修正前一棵树的残差，因此在某些情况下可能会更加灵活和有效。通过Python实现了梯度提升树算法，并在鸢尾花数据集上进行了模型训练和评估。
机器学习-集成学习GBDT
A8186的博客
02-17 246
​ GBDT（Gradient Boosting Decision Trees）是一种基于决策树的集成学习算法，它通过逐步地训练多个决策树模型来提高预测性能。具体来说，GBDT采用加法模型（additive model）的思想，每次训练一个新的决策树来拟合残差（预测误差），然后将所有决策树的预测结果相加作为最终的预测值。GBDT算法虽然能够自适应地学习特征交互关系，但它仍然需要依赖人工选择或构造特征。在实际应用中，我们需要结合特征工程技术来提取更有用的特征，从而进一步提高模型的性能。
图解机器学习算法(9) | GBDT模型详解（机器学习通关指南·完结）
ShowMeAI研究中心
03-10 2万+
GBDT是一种迭代的决策树算法，将决策树与集成思想进行了有效的结合。本文讲解GBDT算法的Boosting核心思想、训练过程、优缺点、与随机森林的对比、以及Python代码实现。
GBDT（MART） 迭代决策树入门教程 | 简介
热门推荐
w28971023的专栏
11-29 18万+
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下：                GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
机器学习GBDT算法
04-30
GBDT(Gradient Boosting Decision Tree)是一种常用的集成学习算法，它将多个决策树集成为一个模型，能够有效地解决分类和回归问题。该算法通过加权求和的方式组合多个决策树的预测结果来提高模型的准确性。在训练过程中，GBDT通过不断迭代，每次迭代都会学习一个新的决策树模型，每个新模型都会去学习上一个模型的残差，并且将新模型的预测结果加到上一个模型的预测结果中，以此逐渐减小误差并提高模型的准确性。 GBDT的优点在于，能够处理高维稀疏数据，不需要对数据进行特征工程处理，而且它能够很好地处理非线性问题。GBDT在实际应用中也被广泛使用，如在推荐系统、搜索引擎排序、金融风险评估等领域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值