GBDT 之 Boosting方法

最新推荐文章于 2023-07-25 21:34:05 发布
最新推荐文章于 2023-07-25 21:34:05 发布
阅读量1.5k 收藏 3
点赞数 2
分类专栏： 数据挖掘&机器学习 文章标签： GBDT boosting
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010700335/article/details/65438012
版权

Boosting方法概述

Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造一个预测函数系列,然后以一定的方式将他们组合成一个预测函数。他是一种框架算法,主要是通过对样本集的操作获得样本子集,然后用弱分类算法在样本子集上训练生成一系列的基分类器。他可以用来提高其他弱分类算法的识别率,也就是将其他的弱分类算法作为基分类算法放于Boosting框架中,通过Boosting框架对训练样本集的操作,得到不同的训练样本子集,用该样本子集去训练生成基分类器;每得到一个样本集就用该基分类算法在该样本集上产生一个基分类器,这样在给定训练轮数 n 后,就可产生 n个基分类器,然后Boosting框架算法将这 n个基分类器进行加权融合,产生一个最后的结果分类器,在这 n个基分类器中,每个单个的分类器的识别率不一定很高,但他们联合后的结果有很高的识别率,这样便提高了该弱分类算法的识别率。在产生单个的基分类器时可用相同的分类算法,也可用不同的分类算法,这些算法一般是不稳定的弱分类算法,如神经网络(BP) ,决策树(C4.5)等。

Adaboost算法

由于Boosting算法在解决实际问题时有一个重大的缺陷,即他们都要求事先知道弱分类算法分类正确率的下限,这在实际问题中很难做到。后来 Freund 和 Schapire提出了AdaBoost算法,该算法的效率与 Freund方法的效率几乎一样,却可以非常容易地应用到实际问题中。AdaBoost是Boosting 算法家族中代表算法,AdaBoost主要是在整个训练集上维护一个分布权值向量 D( x) t ,用赋予权重的训练集通过弱分类算法产生分类假设 Ht ( x) ,即基分类器,然后计算他的错误率,用得到的错误率去更新分布权值向量 D( x) t ,对错误分类的样本分配更大的权值,正确分类的样本赋予更小的权值。每次更新后用相同的弱分类算法产生新的分类假设,

最低0.47元/天 解锁文章
瞭望天空
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Boosting算法（GBDT，XGBoost，LightGBM）
丿回到火星去
11-25 2920
引言 提升（Boosting）是一种机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升（Gradient Boosting）。 梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的若函数集合（基函数）；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐...
Boosting提升算法之GBDT
cengjing12的博客
11-14 409
GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。 在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是ft−1(x)f_{t−1}(x)ft−1​(x), 损失函数是L(y,ft−1(x))L(y,f_{t−1}(x))L(y,ft−1​
集成学习（２）：boosting（GBDT算法）
sa726663676的博客
01-04 717
树模型本身具有蛮多优点的： 可解释性强 可处理混合类型的特征 不用归一化处理 由特征组合的作用 可自然的处理缺失值 对异常点鲁棒性较强 有特征选择的作用 可扩展性强，容易并行 缺点是： 缺乏平滑性 不适合处理高维度稀疏的数据 那么回归树中的可划分点包含了所有特征的所有可取的值。在分类树中最佳划分点的判别标准是熵或者基尼系数，都是用纯度来衡量的， 但是在回归树中的样本标签是连续数值，所以再使用熵之类的指标不再合适，取而代之的是平方误差，它能很好的评判拟合程度。 GBDT全称Gradient Boosting
比较GBDT与Xgboost、boosting与bagging
weixin_41838371的博客
05-28 2518
GBDT与Xgboost的区别GBDT与Xgboost的区别Bagging和Boosting 异同 GBDT与Xgboost的区别 gbdt（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。 xgboost是...
Boosting之GBDT原理
此心安处是吾乡
05-24 857
  前面介绍了Adaboost的相关原理,实现,应用，本文主要介绍Boosting算法的另外一个重要算法:GBDT(Gradient Boosting Decison Tree)。GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）,...
Boosting（提升）算法之GBDT(Gradient Boosting + Decision Tree）
weixin_41690708的博客
08-05 511
梯度提升迭代决策树GBDT Boosting家族中另一个重要的算法--梯度提升树(Gradient Boosting Decision Tree，简称GBDT)。GBDT有很多简称，比如GBT（Gradient Boosting Tree），GTB（Gradient Tree Boosting）， GBRT（Gradient Boosting Regression Tree），MART（Mult...
GBDT_Simple_Tutorial:python实现GBDT的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，庖丁解牛地理解GBDT。Gradient Boosting Decision Trees regression, dichotomy and multi-classification are realized based on python, and the details of algorithm flow are displayed, interpreted and visu
05-10
GBDT_Simple_Tutorial（梯度提升树简易教程） 简介 利用python实现GBDT算法的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，便于读者庖丁解牛地理解GBDT。 项目进度： 回归 二分类 多分类 可视...
集成学习——Boosting算法：Adaboost、GBDT、XGBOOST和lightGBM的简要原理和区别
gjinc的博客
07-25 3459
Boosting算法是通过串联的方式，将一组弱学习器提升为强学习器算法。它的工作机制如下：（1）用初始训练集训练出一个基学习器；（2）依据基学习器的表现对训练样本分布进行调整，使得之前做错的训练样本在之后中得到最大的关注；（3）用调整后的样本分布进行下一个基学习器；（4）重复2-3的步骤，直到基学习器的数量达到了指定的T值后（5）将T个基学习器进行加权组合得到集成的学习器。而根据策略不同，会有Adaboost和GBDT、XGBoost三种常见的Boosting算法。
（ 保证能看懂系列）集成算法之Boosting - GBDT回归算法 手推原理 以及 python 实现
Lee_Yu_Rui的博客
07-14 918
Gradient boosting Adaboost采用的是通过增加每个错分点的权重，减小对分点的权重，并且为每个弱分类器设置权重来获得最终的分类结果的。和Adaboost不同的是，Gradient boosting算法是通过不断拟合上一轮损失函数的负梯度来训练这一轮的学习器，其实就是将上一轮的损失函数的负梯度（在这里称为伪残差）作为训练数据的真实值，去拟合真实值。GBDT就是将弱分类器设为CART的Gradient boosting算法。 问题1. 如何理解“算法是通过不断拟合上一轮损失函数的负梯度来
GBDT 梯度提升树（Gradient Boosting Decision Tree）长篇全解
qq_49183286的博客
11-21 6932
GBDT梯度提升树
GBDT学习总结（Boosting、决策树）
zephyr_wang的博客
05-28 2553
1 GBDT简介 GBDT (Gradient Boosting Decision Tree) 梯度提升决策树。DT－Decision Tree决策树，GB是Gradient Boosting，是一种学习策略，GBDT的含义就是用Gradient Boosting的策略训练出来的DT模型 在前几年深度学习还没有大行其道之前，GBDT在各种竞赛是大放异彩。一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征 2 集成学习 集成学习就是将多个弱的学习器结合起来组成一个强的学习器。 这就涉及到，
Boosting以及代表算法(Adaboost、GBDT)介绍
Despicable_Me的博客
05-27 2326
Boosting（提升）是一种集成学习方法，通过组合多个弱学习器来构建一个强学习器。与Bagging不同，Boosting采用了序列化的方式构建模型，每个弱学习器都是在前一个弱学习器的基础上进行训练，通过逐步调整样本的权重或难易程度来提高模型的预测性能。简而言之：没新加入一个弱学习器，整体能力就会得到提升代表算法有：Adaboost，GBDT，XGBoost，LightGBM初始化样本权重：对于包含N个样本的训练集，初始时将每个样本的权重设置为1/N。
机器学习总结二：boosting之GBDT、XGBT原理公式推导
a1314_521a的博客
09-12 2054
集成算法boosting原理，gbdt、xgbt目标函数手动推导
机器学习进阶（6）：Boosting方法
双鸭山•克里菲斯•北方孤星之堕
07-12 350
前言 Boosting是机器学习技术，与单纯随机森林依靠累加模型不同，它每一步产生一个弱预测模型，并且加权累加到总模型中。如果每一步的弱模型生成方向都是依据损失函数的梯度方向，则称之为梯度提升（Gradient Boosting）。 梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合（基函数）；通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。 如果一个问题存在弱分类器，则可以通过Boosting方法得到强分类器。 模型建立 ...
集成学习-Boosting集成学习算法GBDT
数据掘金
10-28 980
GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。用ID3算法和C4.5算法学习得到的决策树，有可能导致模型过拟合，通常使用剪枝算法来解决。随着集成学习的发展，出现了比较典型的迭代决策树GBDT和随机森林RF，即将多棵单决策树进行模型组合，形成多决策树，可以看成Treelink。 GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的...
boosting方法
weixin_30627381的博客
12-21 1321
概述 Boosting基本思想: 通过改变训练数据的概率分布（训练数据的权值分布），学习多个弱分类器，并将它们线性组合，构成强分类器。 Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”（re-weighting）实施。对无法接受带权样本的基学习算法，则可通过“重采样法”（re-sampling）来处理。若采用“重采样法”，则可获得“重启动”机会以避免训练过程过早...
Boosting方法详解
nstarLDS的博客
04-01 2504
提升方法在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 提升方法与AdaBoost算法 提升方法的核心思想就是：一个复杂的任务由多个专家的判断进行适当综合所得出的结论，比其中任何一个专家单独判断所给出的结论要好。 提升方法的基本思路 对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（分类结果比随机猜测要好的规则也叫弱分类器）要比求精确的...
GBDT
qq_38056367的博客
09-25 234
介绍一下Boosting的思想？ 初始化训练一个弱学习器，初始化下的各条样本的权重一致 根据上一个弱学习器的结果，调整权重，使得错分的样本的权重变得更高 基于调整后的样本及样本权重训练下一个弱学习器 预测时直接串联综合各学习器的加权结果 最小二乘回归树的切分过程是怎么样的？ 回归树在每个切分后的结点上都会有一个预测值，这个预测值就是结点上所有值的均值 分枝时遍历所有的属性进行二叉划分，挑选使平方误差最小的划分属性作为本节点的划分属性 属性上有多个值，则需要遍历所有可能的属性值，挑选使平方误差最小的划分
GBDT特征提取方法python代码
最新发布
03-13
GBDT（Gradient Boosting Decision Tree）是一种常用的机器学习算法，可以用于特征提取。下面是一个使用Python实现GBDT特征提取的示例代码： ```python from sklearn.ensemble import GradientBoostingClassifier ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值