GBDT--简单理解

最新推荐文章于 2023-12-25 00:35:58 发布
最新推荐文章于 2023-12-25 00:35:58 发布
阅读量3.2k 收藏 1
点赞数 1
分类专栏： ML 文章标签： 算法 GBDT 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/meanme/article/details/50914222
版权

梳理

1.Model Ensemble 可以分为三大类：Bagging，Boosting， Stacking.
2.Boosting可以说是一个思想（框架），而Adaboost等算法只是其一个子类，记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award？：
3.Boosting的 前向分布算法（在每一步求解弱分类器Φ(m)和其参数w(m)的时候不去修改之前已经求好的分类器和参数）：

这里写图片描述

4.不同的objective和最小化其的方法决定了不同种类的Boosting:

这里写图片描述

5.GBDT其实就是上图中的Gradient Boosting的一个子类（弱分类器为决策树）

决策树

1.决策树的入门介绍参考: 算法杂货铺——分类算法之决策树(Decision tree)
2.决策树的特征选择: 1）信息增益， 2）信息增益比
3.决策树的生成算法：1）ID3算法–根据信息增益； 2）C4.5算法–根据信息增益比； 3）CART（包括回归和分类；二叉树生成）
4.决策树的剪枝：其实就是一个Loss和T（表示决策树结点个数）trade off的过程
5.具体细节参考:《统计学习方法–李航》
Xiaomin-Wu
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GBDT的理解
jhhuang
05-14 830
简介 GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升决策树，由Freidman提出。GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。Adaboost是利用前一轮迭代弱学习器的误差率来更新训练集的权重。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboo...
集成学习终篇：从CART回归树开始，经历BDT、GBDT彻底理解XGBoost - 知乎1
08-03
其次，GBDT的叶子节点不是简单地取平均值，而是通过优化损失函数找到最佳输出。GBDT的训练流程包括：初始化一个简单的预测器，然后迭代地训练新的CART树，每个新树的目标是减少当前总损失的负梯度。 对于二分类和多...
股票价格预测-LSTM-TCN-GBDT：使用四种算法（LSTM，TCN，GRU，GBDT）进行股票价格的预测和预测结果的检验。有四种算法（LSTM，TCN，GRU，GBDT）用于预测股价并检验预测结果
02-16
股票价格预测-LSTM-TCN-GBDT 使用四种算法（LSTM，TCN，GRU，GBDT）进行股票价格的预测和预测结果的检验。
使用tensorflow理解GBDT的可解释性
yongrl的博客
03-08 3986
前一篇《boosted trees》完整训练了一个Boosted分类树，这篇文章主要是在上篇的基础上讲解以下三个内容： 理解各个特征对单个样本预测结果的贡献 各个特征对模型的重要性 从直觉上了解Boosted Tree 是怎么fit数据的 文章目录模型的可解释性构建模型加载数据创建特征输入模型训练local interpretability可视化单个样本的DFCs优化可视化单个样本的DFCs V...
机器学习竞赛中，为什么GBDT往往比深度学习更有效？
夕小瑶科技说
02-10 1024
在过去的几年里，大多数的推荐算法都是基于深度学习（DL）方法。遵循我们领域的一般研究实践，这些工作证明了新的DL方法在离线实验中优于其他不基于深度学习的模型。然而，在与推荐相关的机器学习竞...
工具系列：TensorFlow决策森林_(5)使用文本和神经网络特征
最新发布
数智笔记
12-25 1215
由于TF-DF下的每个学习算法可以以不同的方式使用验证数据，TF-DF在内部处理训练/验证拆分。这个例子将使用一个预训练的TF-Hub嵌入将文本特征转换为密集嵌入，并在其上训练一个随机森林模型。前面的例子使用了一个预训练的神经网络（NN）来处理文本特征，然后将它们传递给随机森林。不同的预训练嵌入可能适用于不同类型的文本（例如不同的语言、不同的任务），也适用于其他类型的结构化特征（例如图像）。模块训练一个使用文本特征的随机森林。因此，现在神经网络已经训练好了，决策森林模型将适应于神经网络层的训练输出。
使用TensorFlow训练Boosted Trees model
yongrl的博客
03-06 2514
How to train Boosted Trees models in TensorFlow 官方文档链接 这篇tutorial适用tf.estimator完整的训练一个Gradient Boosting Decision Tree(GBDT)模型。 Boosted Tree是非常流行且有用的分类和回归模型，它使用集成技术将多棵树的预测结果整合成一个结果值。 文章目录titanic数据集处理加载...
GBDT+LR-Demo.zip
08-23
它支持数据流图计算，使得模型定义、训练和部署过程变得简单而高效。在本项目中，TensorFlow将被用来实现GBDT的某些部分或整个推荐算法。 **Logistic Regression（逻辑回归）** 虽然名字中含有“回归”一词，但在...
GBDT_Simple_Tutorial:python实现GBDT的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，庖丁解牛地理解GBDT。Gradient Boosting Decision Trees regression, dichotomy and multi-classification are realized based on python, and the details of algorithm flow are displayed, interpreted and visu
05-10
GBDT_Simple_Tutorial（梯度提升树简易教程） 简介 利用python实现GBDT算法的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，便于读者庖丁解牛地理解GBDT。 项目进度： 回归 二分类 多分类 可视...
一个案例搞定GBDT原理分析.pdf
08-10
1. **初始化**：通常用一个常数或者简单的模型（如均值或零）作为初始预测值。 2. **循环迭代**： - 计算当前预测值的负梯度（误差）。 - 训练一个决策树，使其能够最大程度地减少负梯度的平方和。这可以通过最小...
GBDT相关实验代码及数据集，详细展示可参考主页GBDT介绍部分的博文
11-21
这个压缩包文件包含的是与GBDT相关的实验代码和数据集，旨在帮助学习者深入理解GBDT的工作原理以及如何在实际项目中应用。 1. **GBDT基本原理**： GBDT全称为梯度提升决策树（Gradient Boosting for Decision ...
Django项目之经济预测平台，应用LSTM、GBDT等算法
xiaomingming99的博客
04-22 653
Django项目之经济预测平台，LSTM、GBDT等算法
初探大规模GBDT训练
AI蜗牛车
01-12 786
本文是两年前年评估在 Spark 上做大规模 GBDT 训练时写的一篇入门级教程与框架评估。目前好像市面上也没有多少使用 Spark 来跑 GBDT 的分享（可能是个伪需求？），分享出来看...
GBDT：梯度提升决策树
jbcsimple
08-10 6645
GBDT：梯度提升决策树 字数2887 阅读1208 评论0 喜欢2 综述   GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   
利用GBDT模型构造新特征
TURING.DT
08-14 2148
通过实践以下内容，使用GBDT生成新的特性，与原特性合并后，进行模型预测，AUC的分数不一定比原数据要高，所以通过测试后选择是否使用此方法。 实际问题中，可直接用于机器学习模型的特征往往并不多。能否从“混乱”的原始log中挖掘到有用的特征，将会决定机器学习模型效果的好坏。引用下面一句流行的话： 特征决定了所有算法效果的上限，而不同的算法只是离这个上限的距离不同而已。 本文中我将介绍F
推荐系统遇上深度学习(十)--GBDT+LR融合方案实战
05-31 572
推荐系统遇上深度学习系列： 推荐系统遇上深度学习(一)--FM模型理论和实践：https://www.jianshu.com/p/152ae633fb00 推荐系统遇上深度学习(二)--FFM模型理论和实践:https://www.jianshu.com/p/781cde3d5f3d 推荐系统遇上深度学习(三)--DeepFM模型理论和实践：https://www.jianshu.com/p/6f1c2643d31b 推荐系统遇上深度学习(四)--多值离散特征的embedding解决方案：https://w
机器学习——长短期记忆（LSTM）
beiye_的博客
03-20 7098
机器学习——长短期记忆（LSTM）
推荐系统入门到实战
06-05
推荐、搜索、广告号称互联网三大核心技术领域，而推荐系统因为今年的今日头条、抖音、快手等产品而大火特火称为各个公司的核心技术方向，也成为一个高薪职业，本视频系列可称为答疑解惑实战系列，带你完全知晓弄清楚什么是推荐系统，以及怎样实现一个推荐系统
NIPS 2016 -- 增量Boosting CNN 用于面部动作单元识别
hestendelin的专栏
09-11 917
本文是机器学习领域顶级会议 NIPS 2016 所接收的论文中深度学习相关的一篇论文。这篇论文的作者来自美国的南卡莱罗纳大学 （https://cse.sc.edu/~m...
理解GBDT：从梯度提升到XGBoost与LightGBM
1. 初始化一个简单的模型，通常是常数值。 2. 对于t次迭代（t=1,2,...,T），执行以下步骤： a) 计算每个样本的负梯度，这是当前模型的优化方向。 b) 使用这些负梯度信息训练一个CART回归树。 c) 在每个叶节点区域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值