sklearn中的gbdt源码分析

最新推荐文章于 2022-11-14 16:05:58 发布
最新推荐文章于 2022-11-14 16:05:58 发布
阅读量335 收藏
点赞数
文章标签： 人工智能
原文链接：https://segmentfault.com/a/1190000005830127
版权

简单看了一下sklearn中的gbdt源码
在这里记录一下，目前来说还不能把gbdt的所有理论都搞清楚
sklearn有两个类似于gbdt的实现

GradientBoostingClassifier
GradientBoostingRegressor

一个用于分类，另一个用于回归
这两个类其实区别只在于mixin上，下面是类继承关系

GradientBoostingRegressor继承了
    BaseGradientBoosting
    RegressorMixin
GradientBoostingClassifier继承了
    BaseGradientBoosting
    ClassifierMixin
ClassifierMixin和RgressorMixin的区别：
    classifierMixin使用的是准确率来计算误差
    而回归的是使用r_square来计算误差
实际上这两个模型的差距是很小的，就是计算一下拟合度

然后是整个训练的过程
训练的过程会先设置一些参数
设置n_estimators是要训练的分类器数据
如果损失函数是loss的话，那么就比较简单了
每次训练弱分类器都会根据上一次的结果来
上次生成的y - y_pred会作为新的y传进去
这样来训练直到n_estimators足够

不过在predict结果的时候有点看不懂代码
后面看了再补充

weixin_34384557
关注
sklearn决策树源码分析
using namespace 数学工具构造器;
01-26 1158
刘建平博客： scikit-learn决策树算法类库使用小结 sklearn 文档： 1.10. Decision Trees API 文档： sklearn.tree.DecisionTreeClassifier sklearn.tree.DecisionTreeRegressor 刘建平博客关键句提炼 splitter=random：随机的在部分划分点中找局部最优的划分点 max_depth：推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间。 min_samples_s
GBDT原理与Sklearn源码分析-分类篇
SCUT_Sam
01-29 2万+
摘要： 继上一篇文章，介绍完回归任务下的GBDT后，这篇文章将介绍在分类任务下的GBDT，大家将可以看到，对于回归和分类，其实GBDT过程简直就是一模一样的。如果说最大的不同的话，那就是在于由于loss function不同而引起的初始化不同、叶子节点取值不同。 正文： GB的一些基本原理都已经在上文中介绍了，下面直接进入正题。 下面是分类任务的GBDT算法过程，其中选用的loss f...
GBDT源代码
12-02
gbdt源码，有一些注释，但代码简单，很容易看懂，是深入学习GBDT的好资料！
boost原理与sklearn源码_从sklearn源码简析GBDT
weixin_40005373的博客
12-01 227
GBDT即Gradient Boosting Decision Tree，它在我个人认为是可以在传统的一众机器学习算法中占据Top1的地位，由它衍生出的Xgboost、Lightgbm和Catboost在表格型数据建模领域里我愿称之为最强。针对GBDT的原理讲解网上已经有很多优秀的版本，我这里也不再赘述，这里推荐下刘建平大佬的博客https://www.cnblogs.com/pinar...
使用sklearn实现GBDT
weixin_44414593的博客
07-17 3588
from sklearn.emsemble import GradientBoostingClassifier 参数 n_estimators：基学习器个数 learning_rate：各个基学习器的学习率（衰减系数） max_features：{‘None’,‘log2’,‘sqrt’,‘auto’} loss：分类：{‘deviance’,‘exponential’}(对数似然损失函数，指数损失函数）；回归{‘ls’,‘lad’,‘huber’‘quantile’}（标准差函数，绝对损失函数，hube
sklearn GBDT源码阅读
using namespace 数学工具构造器;
01-27 382
class LeastSquaresError(RegressionLossFunction): def init_estimator(self): return DummyRegressor(strategy='mean') def __call__(self, y, raw_predictions, sample_weight=None): return (1 / sample_weight.sum() * np.sum( sam
sklearn实现GBDT算法（分类）
HRMEMEDA的博客
11-14 5506
阿喽哈~小天才们，今天我们聊一聊GBDT上一篇文章我们详细地说了GBDT算法原理，包括为什么拟合负梯度、负梯度为何可以替代残差、二分类GBDT算法公式和实例演算，感兴趣的童鞋请移步具体算法公式啥的这里就不赘述啦，大家就自行学习理解叭，我们今天主要是说如何使用sklearn包来实现GBDT以及简单的调参演示，话不多说上代码~
GBDT原理与Sklearn源码分析-回归篇
热门推荐
SCUT_Sam
01-28 3万+
摘要： 本文将非常详细的介绍GBDT（Gradient Boosting Decision Tree）的原理以及Sklearn里面具体是如何实现一个GBDT的。本次内容将分为两篇文章，一篇是GBDT用于回归，一篇是GBDT用于分类任务。虽然两者其实本质是一样的，只是loss function不同，但是分成两篇可以帮助更好的对比理解。 注意：本文前半部分是GBDT原理的一个概述，后半步是skle...
sklearn机器学习源码（黑皮书）.rar
09-14
《sklearn机器学习源码（黑皮书）》是一份深度解析scikit-learn库的资源，涵盖了机器学习领域常用算法的原理与编程实践。scikit-learn是Python中最受欢迎的机器学习库之一，它提供了丰富的算法实现，方便数据科学家...
基于GBDT+LR预测动态高危路段python源码含详细项目说明.zip
最新发布
05-31
基于GBDT+LR预测动态高危路段python源码含详细项目说明.zip 利用GBDT+LR预测动态高危路段 3总体思路 数据获取 数据清洗：将不同类型的数据合并在一起，对于缺失值数据进行处理，同时对于分类特征进行onehot编码 特征...
gbdt算法实现
12-12
C实现的gbdt算法，包含源码，训练和测试数据的文件
sklearn上手博客里面描述的源代码
11-06
sklearn上手博客里面描述的源代码 sklearn上手博客里面描述的源代码
sklearn梯度提升树(GBDT)调参小结
lynn_001的博客
12-29 8210
原文链接 1. sklearn GBDT类库概述 \qquad在sklearn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。这些参数中，类似于Adaboost，我们把重要参数分为两类，第一类是Boosting框架的重要参...
二十八.集成学习之梯度提升树(GBDT)的原理与sklearn实现
weixin_36128607的博客
07-16 474
目录1.简介2.负梯度拟合 1.简介 GBDT也是前向分布算法，但是它的学习器只能用CART回归树。 在提升树的系列算法中，前一轮迭代得到的强学习器是ft−1(x)f_{t-1}(x)ft−1​(x)，损失函数是L(y,ft−1(x))L(y,f_{t-1}(x))L(y,ft−1​(x))，则本轮的目标是寻找到一个弱学习器ht(x)h_{t}(x)ht​(x)，使本轮的损失L(y,ft−1(x)+ht(x))L(y,f_{t-1}(x)+h_{t}(x))L(y,ft−1​(x)+ht​(x))最小。 在
gbdt 算法比随机森林容易_sklearn学习（四）：集成算法与随机森林（附代码）
weixin_39673293的博客
12-18 109
集成算法Ensemble learning目的：让机器学习效果更好，如果单个模型的效果不好，那就用多个模型堆叠Bagging训练多个分类器并取平均，公式为等于说在bagging当中，我们的基本思想是并行的进行训练，并且把最后的结果平均化。全称：bootstrap aggregation 最代表的就是随机森林算法：随机是指采样随机(有放回的采样，不全部采完)，特征选择随机；森林表示为很多...
sklearn.GBDT 源码解读（宏观把握）
木琦
01-09 5254
sklearn.GBDT源码解读 最近一直玩数据挖掘，GBDT使用了一点，就想看看源码是怎么实现的。 x当训练一个GBDT模型的时候，gbdt=sklearn.ensemble.GradientBoostingClassifier(param)本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮
sklearn与GBDT入门案例
TURING.DT
06-08 1万+
GBDT概念自行网上搜索下，下面入门调用sklearn包中的GBDT 安装 SCIKIT-LEARN是一个基于Python/numpy/scipy的机器学习库 GBDT使用 这段代码展示了一个简单的GBDT调用过程 import numpy as np from sklearn.ensemble import GradientBoostingRegressor gbdt=Grad
python机器学习库sklearn——集成方法（Bagging、Boosting、随机森林RF、AdaBoost、GBDT）
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
04-08 2万+
全栈工程师开发手册 （作者：栾鹏） python数据挖掘系列教程 集成方法 的目标是把多个使用给定学习算法构建的基估计器的预测结果结合起来，从而获得比单个估计器更好的泛化能力/鲁棒性。集成方法 相关的知识内容可以参考 https://blog.csdn.net/luanpeng825485697/article/details/79383492 这里只讲述sklearn中...
GBDT模型及案例（Python）
qq_42433311的博客
04-28 8727
目录 1 GBDT算法核心思想 2 GBDT算法的数学原理 3 GBDT算法数学原理举例 补充知识点：梯度提升树中梯度的理解 4 使用sklearn实现GBDT算法 5案例：产品定价模型 5.1模型搭建 5.1.1读取数据 5.1.2分类型文本变量的处理 5.1.3提取特征变量和目标变量 5.1.4划分训练集的测试集 5.1.5模型训练及搭建 5.2模型预测及评估 6模型参数介绍 参考书籍 1 GBDT算法核心思想 GBDT是Gradient Boosti...
sklearn gbdt
09-20
sklearn中的GradientBoostingClassifier是一个用于实现GBDT（Gradient Boosting Decision Trees）的分类器。它可以用于分类问题，并利用梯度提升算法来训练多个决策树模型，以逐步减少预测误差。在训练过程中，每个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值