GBDT输出形式理解

最新推荐文章于 2022-04-20 11:50:30 发布
最新推荐文章于 2022-04-20 11:50:30 发布
阅读量2.5k 收藏
点赞数
分类专栏： 推荐算法 文章标签： GBDT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014297722/article/details/89293404
版权

0.训练过程
"放大"错误样本,基学习器的个数==训练的迭代次数

1.输出形式
二分类:
每个基学习器输出one-hot向量(长度==num_leaves)
one-hot to int
prediction = num_boost_iteration个整数(每个整数是来自一个基学习器的输出)

思考:
1.多分类 || 回归
GBDT的树的输出还是one-hot吗？？
2.第一个基学习器的特征的最明显,最后一个基学习器的是分类结果最准确的

2.FM
输入:libsvm格式,index:value
对于GBDT的int输出加以offset(我的CSDN博客)

3.其他问题:
Xgboost: 输入的类别特征如何指定？（lightgbm指定类别特征十分方便）

GBDT

cuixuange
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SCIKIT-LEARN与GBDT使用案例
superzrx的专栏
07-26 3万+
安装SCIKIT-LEARN是一个基于python/numpy/scipy的机器学习库 windows下最简单的安装方式是使用winpython进行安装 WinPython地址GBDT使用这段代码展示了一个简单的GBDT调用过程import numpy as np from sklearn.ensemble import GradientBoostingRegressor gbdt=Gradie
GBDT的原理和应用
文西
10-23 1万+
周二、周三参加了QCon上海2017|全球软件开发大会，听了几场机器学习相关的 Session，多次提及 GBDT（Gradient Boost Decision Tree)，并且在模型演化历史中，都有很重要或者最重要的地位。如《Pinterest如何利用机器学习实现两亿月活跃用户》提到的模型发展历史，GBDT带来过巨大的效果提升。迭代决策树（GBDT）《唯品金融机器学习实践》中也提到因为GBDT
GBDT 原理与使用
余音丶未散的博客
12-19 7693
基本思想GBDT–Gradient Boosting (Regression) Decistion Tree GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种用于回归的机器学习算法，该算法由多棵回归决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于分
GBDT算法整理
davidie的专栏
03-15 3万+
最近重点学习了gbdt算法，看了较多的博客文章，整理了一下这些比较有用的内容，包括算法理论、算法分析、代码剖析、注意事项等各个方面。 转载来源： http://www.cnblogs.com/rocketfan/p/4324605.html http://www.cnblogs.com/rocketfan/p/4365950.html http://www.cnblogs.com/
【QLIB】 GBDT模型输出因子重要性
weixin_44177216的博客
04-20 2238
GBDT是有较好解释性的，我们可以通过模型获取到因子的重要程度。修改qlib/contrib/model/gbdt.py。 增加方法，按照因子重要程度进行排序 def importance(self, importance, columns): df = pd.DataFrame({'feature': columns, 'importance': importance}) df.sort_values('importance',inplace=True,asce
GBDT详解
zhangbaoanhadoop的博客
08-19 1万+
参考以下两篇博文： http://blog.csdn.net/w28971023/article/details/8240756 https://www.cnblogs.com/ModifyRong/p/7744987.html               GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regr...
机器学习10大经典算法
08-29
1. **线性回归**：线性回归是最基础的预测模型之一，用于建立输入变量（自变量）与输出变量（因变量）之间的线性关系。它通过最小化误差平方和来拟合数据，有简单线性回归和多元线性回归两种形式。 2. **逻辑回归**...
10种常用机器学习算法简介.docx
11-18
除此之外，还有其他算法如支持向量机（SVM）、随机森林、Adaboost、梯度提升机（GBDT）、朴素贝叶斯变体（如多项式朴素贝叶斯和伯努利朴素贝叶斯）等，它们各自有其独特的适用场景和优势。选择合适的算法需要根据...
Math156_UCLA_SP21:2021年Spring在UCLA进行Math 156机器学习的存储库（讲师
04-16
课程资料以Jupyter Notebook的形式呈现，便于学生进行互动式学习，同时也为研究者提供了一个直观、可操作的平台。 Jupyter Notebook是一种基于Web的交互式计算环境，它允许用户结合代码、文本、数学公式、图像和...
决策树.zip
最新发布
04-25
它的核心思想是通过树状结构来表示可能的决策过程，其中每个内部节点代表一个特征或属性测试，每个分支代表一个测试输出，而叶节点则代表最终的决策结果。 在决策树构建过程中，主要有以下关键步骤： 1. **数据...
机器学习课件
06-13
“机器学习ppt”标签表明这些课件可能以幻灯片的形式呈现，这样的形式通常便于讲解和理解，通过图表、流程图和示例数据来直观地解释复杂的概念。这将是一个很好的资源，无论你是初学者还是希望深化理解的专家。 总...
GBDT算法的特征重要度计算
热门推荐
杨旭东的专栏
12-27 4万+
基于树的集成算法还有一个很好的特性，就是模型训练结束后可以输出模型所使用的特征的相对重要度，便于我们选择特征，理解哪些因素是对预测有关键影响，这在某些领域（如生物信息学、神经系统科学等）特别重要。本文主要介绍基于树的集成算法如何计算各特征的相对重要度。
GBDT原理小结
thinkhui的专栏
06-02 475
       最近在做文本分类的工作，使用到了XGBoost用于多分类。因此本文针对自己学习的XGBoost相关知识进行简单记录，并延伸了GBDT的相关理论知识。 一、监督学习算法        监督学习算法主要有以下三个重要组成部分： 模型 参数 目标函数 1、模型       &...
GBDT 将子树结果当成lr输出
weixin_30564901的博客
08-07 146
http://scikit-learn.org/stable/auto_examples/ensemble/plot_feature_transformation.html#example-ensemble-plot-feature-transformation-py 输出GBDT的子树结果用的是：apply函数 转载于:https://www.cnblogs.com/zhangbojia...
Gradient Boosted Decision Trees（GBDT）详解
Learning from the mistakes
09-16 1万+
感受 GBDT集成方法的一种，就是根据每次剩余的残差，即损失函数的值。在残差减少的方向上建立一个新的模型的方法，直到达到一定拟合精度后停止。我找了一个相关的例子来帮助理解。本文结合了多篇博客和书，试图完整介绍GBDT的内容，欢迎大家来指正。 介绍 GBDT是一个应用很广泛的算法，可以用来做分类、回归。GBDT这个算法还有其它名字，如MART(Multiple Additiv...
GBDT回归实战完全总结(二)
xiaoliuhexiaolu的博客
06-05 3594
第二部分：sklearn分类实例（一）、实例一：Gradient Boosting regressionDemonstrate Gradient Boosting on the Boston housing dataset.This example fits a Gradient Boosting model with least squares loss and 500 regression t...
推荐系统之 GBDT和GBDT+LR
Francis_s的博客
11-16 1846
这篇文章应该是10月份的时候就发出来了，但是DTU太多作业了，做得我人都麻了哎。临近期末了决定铤而走险，一定要把知识点给梳理出来 这篇文章篇幅估计会比较长，因为当时看GBDT的时候发现自己对决策树的一些细节还掌握的不是很到位，所以把 DT -> AdaBoost -> BDT -> GDBT -> LR -> GBDT + LR 整个流程都走了一遍。 有关决策树的概念以及步骤，可以到这翻一翻，下面直接开始讲建树了。但因为重点是...
机器学习模型（一） GBDT
ZixuanKe的博客
04-29 6261
GBDT 概述、原理、应用
GBDT去预测时序数据
Y
05-23 3672
最近有一个需求，需要用到GBDT算法去实现对时序数据进行预测（回归任务），数据是从2011年1月到2020年4月份6个不同城市的房地产交易数据，由于在网上没有找到对应的基于时序数据来用GBDT算法的博客或者资料，我也去github上面找个，出现最多的是，基于特征数据对标签进行预测，实现如分类或者回归问题，基于此，想写一个关于时序数据处理的简单介绍，后面有代码和数据地址 一 数据介绍 6个城市分别是，重庆，杭州，洛阳，南充，芜湖，对于特征如下图所示： 回归任务为基于历史数据对...
python使用GBDT输出f1指标
05-14
要输出GBDT模型的f1指标，需要进行以下步骤： 1. 导入所需的库和数据 ```python import pandas as pd from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.ensemble import GradientBoostingClassifier from sklearn.metrics import f1_score data = load_breast_cancer() X = pd.DataFrame(data.data, columns=data.feature_names) y = pd.Series(data.target) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) ``` 2. 创建并训练GBDT模型 ```python gbdt = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42) gbdt.fit(X_train, y_train) ``` 3. 对测试集进行预测并计算f1指标 ```python y_pred = gbdt.predict(X_test) f1 = f1_score(y_test, y_pred) print("f1 score: {:.2f}".format(f1)) ``` 完整代码如下： ```python import pandas as pd from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.ensemble import GradientBoostingClassifier from sklearn.metrics import f1_score data = load_breast_cancer() X = pd.DataFrame(data.data, columns=data.feature_names) y = pd.Series(data.target) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) gbdt = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42) gbdt.fit(X_train, y_train) y_pred = gbdt.predict(X_test) f1 = f1_score(y_test, y_pred) print("f1 score: {:.2f}".format(f1)) ``` 注意：在实际应用中，为了更准确地评估模型性能，应该使用交叉验证等更加严格的方法进行评估。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值