机器学习-GB、GBDT、XGboost、Adaboost

最新推荐文章于 2024-09-26 09:10:20 发布
最新推荐文章于 2024-09-26 09:10:20 发布
阅读量1.9k 收藏 17
点赞数 3
分类专栏： 机器学习和深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34229228/article/details/103176757
版权

文章目录

一. 梯度增强 Gradient Boosting (GB)

目的：利用前K-1个分类器得到第K个分类器，并将这K个弱分类器叠加，组成强分类器。

Boosting算法的学习过程采用的思想是Additive Manner（加法效应），即：迭代生成多个（K个）弱学习器，然后将弱模型的结果相加，其中后面的模型是基于前面的模型的效果生成的，模型间的关系以及最后的预测结果如下：
在这里插入图片描述
可以看到，Boosting算法是通过一系列的迭代来优化分类结果，每迭代一次引入一个新的弱分类器，来克服现在已经存在的弱分类器组合的shortcomings，即：每一次迭代都致力于减少偏差。

Gradient Boosting算法在迭代的时候将负梯度作为上一轮基学习器犯错的衡量指标，在下一轮学习中通过拟合负梯度来纠正上一轮犯的错误。

在这里插入图片描述
在这里插入图片描述

      注：argmin ：表示使目标函数取最小值时的变量值 。
      f_K(x)：第k个分类器的分类值
      \gamma：伪残差 y_i-f(i)
      L(.)：损失函数，绝对值损失函数或均方误差损失函数

二、GBDT

GBDT（Gradient Boosting Decision Tree）是以决策树（CART）为基学习器的GB算法。
GBDT是Boosting里面的boosting tree（提升树），并使用gradient boost。其关键是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一颗CART回归树（classification and regression tree）

随机森林和GBDT区别

1）随机森林采用的bagging思想，而GBDT采用的boosting思想。
2）组成随机森林的树可以是分类树，也可以是回归树；而GBDT只能由回归树组成。
3）组成随机森林的树可以并行生成；而GBDT只能是串行生成。
4）对于最终的输出结果而言，随机森林采用多数投票等；而GBDT则是将所有结果累加起来，或者加权累加起来。
5）随机森林对异常值不敏感；GBDT对异常值非常敏感。
6）随机森林对训练集一视同仁；GBDT是基于权值的弱分类器的集成。
7）随机森林是通过减少模型方差提高性能；GBDT是通过减少模型偏差提高性能。

三、XGboost

XGBoost与GBDT算法的区别：

  • 传统的GBDT在优化的时候只用到了一阶导数信息，而XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数，并且XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。

  • 另外XGBoost还支持线性分类器，通过在代价函数中加入正则项，降低了模型的方差，使学习出来的模型更加简单，避免过拟合。

目标：求第t个分类器和它的权值。

1、在第t次迭代的损失函数可以写成：
在这里插入图片描述
其中，y_i^{t-1}_hat是前t-1个分类器对于第i个样本的预测值的加权和。如下图所示：

在这里插入图片描述

注：K代表分类器的个数，n代表样本的个数，f代表基分类器，\omga是正则项。

在这里插入图片描述
在这里插入图片描述

5、如何构建树的结构：
看哪个特征使得L最大。
在这里插入图片描述

XGboost 决策树举例

决策树的核心在于树的结构和叶子权值。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
XGBoost的优点

  • 使用许多策略去防止过拟合，如：正则化项、Shrinkage and Column Subsampling等。
  • 目标函数优化利用了损失函数关于待求函数的二阶导数
  • 支持并行化，这是XGBoost的闪光点，虽然树与树之间是串行关系，但是同层级节点可并行。具体的对于某个节点，节点内选择最佳分裂点，候选分裂点计算增益用多线程并行。训练速度快。
  • 添加了对稀疏数据的处理。
  • 交叉验证，early stop，当预测结果已经很好的时候可以提前停止建树，加快训练速度。
  • 支持设置样本权重，该权重体现在一阶导数g和二阶导数h，通过调整权重可以去更加关注一些样本。

四、Adaboost

前面都是分类器（预测）加权

  • 提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。
  • 得到若干弱分类器后，加大分类误差率小的弱分类器的权值。最后T个分类器求加权和，并预测。

算法
在这里插入图片描述

     注：
     D_1(i)第一个分类器的第i个样本的权值；
     \ebuslu：分类误差率，直接分类错误的样本权值相加；
     T：T个分类器；
     Z_t：归一化因子，值为所有样本的分子的和。保证概率为1；
     sign(x)：x>0返回1；x<0返回-1；
     只要初始分类误差率<0.5，最后分类误差率会收敛到0.

鸢尾花-xgboost

xgboost参数说明

import numpy as np
import pandas as pd
import xgboost as xgb
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegressionCV
from sklearn.ensemble import RandomForestClassifier

name = ['sepal length', 'sepal width', 'petal length', 'petal width', 'class']
data = pd.read_csv('..\\8.Regression\\iris.data', header=None, names=name)
x = data[name[:4]]
y = LabelEncoder().fit_transform(data[name[4]])

x_train, x_test, y_train, y_test = train_test_split(x, y, train_size=0.7)
print('x_train.shape', x_train.shape)

"""生成xgb需要的测试数据，训练数据格式Dmatrix"""
data_train = xgb.DMatrix(x_train, label=y_train)
data_test = xgb.DMatrix(x_test, label=y_test)

"""设置参数-字典格式"""
"""     max_depth:树的最大深度，缺省值为6，取值范围：[1,∞]
        eta:为了防止过拟合，更新过程用到的收缩步长，eta通过缩减特征的权重使提升计算过程更加保守。缺省值为0.3，取值范围为[0,1]
        silent:0表示打印出运行时信息，1表示以缄默方式运行，缺省值为0
        objective：定义学习任务以及相应的学习目标，'binary:logistic'表示二分类的逻辑回归问题，输出为概率"""

para = {'max_depth': 2, 'eta': 0.3, 'silent': 1, 'objective': 'multi:softmax', 'num_class': 3}
bst = xgb.train(para, data_train, num_boost_round=6)
y_hat = bst.predict(data_test)
print('xgboost测试集正确率', sum(y_hat == data_test.get_label()) / y_hat.size)


models={'Logistic':LogisticRegressionCV(cv=5,multi_class='ovr'),'RandomForestClassifier':RandomForestClassifier(n_estimators=100,criterion='gini',max_depth=3)}
for key,value in models.items():
    value.fit(x_train,y_train)
    print(key,'测试集正确率',value.score(x_test,y_test))

在这里插入图片描述

毒蘑菇-xgboost(二分类)

数据集:
在XGBoost中数据的加载是使用其特有的数据格式进行训练的，我们可以使用XGBoost中的xgb.DMatrix(x_train, label=y_train)函数进行数据的加载，xgb.DMatrix()也支持libsvm格式的数据，这是一种稀疏数据的存储方式，xgb.DMatrix()可以直接读取这种数据格式：
共125个特征，第一列为样本标签，表示是否为毒蘑菇
在这里插入图片描述
数据集特征解释:
　libsvm数据格式是一种稀疏矩阵的表示方法，其中第1列为结果集，后面的每列含义为：该样本的特征序号：该样本对应的特征序号的值，对于特征数量多，且稀疏的时候非常的合适。
在这里插入图片描述

# /usr/bin/python
# -*- encoding:utf-8 -*-


import xgboost as xgb
import numpy as np

# 1、xgBoost的基本使用
# 2、自定义损失函数的梯度和二阶导
# 3、binary:logistic/logitraw
"""蘑菇的例子"""

# 定义f: theta * x
def log_reg(y_hat, y):
    p = 1.0 / (1.0 + np.exp(-y_hat))
    g = p - y.get_label()
    h = p * (1.0-p)
    return g, h


def error_rate(y_hat, y):
    return 'error', float(sum(y.get_label() != (y_hat > 0.5))) / len(y_hat)


if __name__ == "__main__":
    # 读取数据
    data_train = xgb.DMatrix('agaricus_train.txt')
    data_test = xgb.DMatrix('agaricus_test.txt')
    print(data_train)
    print(type(data_train))

  

    '''
  para = {'max_depth': 2, 'eta': 1, 'silent': 1, 'objective': 'binary:logistic'}
bst=xgb.train(para,data_train,num_boost_round=6)
# bst = xgb.train(param, data_train, num_boost_round=n_round, evals=watchlist, obj=log_reg, feval=error_rate)
print('bst',bst)
y_hat=bst.predict(data_test) #输出为概率值
y_hat=y_hat>0.5
result=(y_hat==data_test.get_label())
print('测试集总个数',y_hat.size)
print('测试集预测错误的个数',y_hat.size-sum(result))

在这里插入图片描述

hellobigorange
关注
专栏目录
Adaboost、GBDT与XGBoost的区别
hellozhxy的博客
08-28 2万+
Boosting 集成算法中Adaboost、GBDT与XGBoost的区别 所谓集成学习，是指构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”，或一个公司董事会上的各董事投票决策，它要求每个弱分类器具备一定的“准确性”，分类器之间具备“差异性”。 集成学习根据各个弱分类器之间有无依赖关系，分为Bo...
GBDT基本定义
在服务器上挂载OSS_bucket
01-05 197
GBDT GBDT(Gradient Boosting Decision Tree)（梯度提升决策树） 定义：是为了解决一般损失函数的优化问题， 方法是用损失函数的负梯度在当前模型的值来模拟回归问题中残差的近似值。 损失函数 损失函数 定义：单个样本误差 常见损失函数： 1.0-1损失函数 定义：预测错误，损失函数为1，预测正确，损失函数值为0。 ????(????,????(????))={ 1,????≠????(????) 0,????=????
详解机器学习经典模型(原理及应用)——GBDT
最新发布
学习与分享人工智能技术
09-26 1945
本文详细介绍了GBDT模型的概念、原理和应用，同时介绍了梯度下降和梯度提升的关系，可用于业务或面试参考。
机器学习基础知识（四）--- 从gbdt到xgboost
热门推荐
china1000的专栏
04-09 3万+
gbdt（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。 xgboost是陈天奇大牛新开发的Boosting库。它是一个大规模、分布式的通用Gradient Boosting（GBDT）库，它
GBDT和XGboost介绍
xavier_muse的博客
11-23 1374
注：本文转自https://blog.csdn.net/legendavid/article/details/78904353并对文章进行了优化（原文没有图片），对方也是转载，原作者不知哪位大神。 GBDT（Gradient Boosting Decision Tree）是一种基于迭代所构造的决策树算法，它又可以简称为MART（Multiple Additive Regression Tree）...
GBDT和Xgboost
guanjianlujing的专栏
11-15 1257
GBDT 英文全称：Gradient Boosting Decision Tree 。 一句话解释：以决策树为基模型（base model），以损失函数的负梯度为学习目标的boosting集成模型 这句话有三个概念：决策树，损失函数的负梯度,boosting 对第一个基本概念的解释： 决策树主流有三类ID3,C4.5,CRAT树。gbdt的基模型是CART树。 id3使用信息增益作为分裂点选择 C4.5使用信息增益比作为分裂点选择 cart树使用基尼系数作为分裂点选择 第二个基本概念的解释
GBDT和XGBoost
知识搬运工的博客
04-29 1577
写在最开头，对GB的理解： 1、Gradient Boosting：每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。在Gradient Boost中，每个新的模型的建立是为了使得之前模型的残差往梯度方向减少（当然也可以变向理解成每个新建的模型都给予上一模型的误差给了更多的关注）， ...
GBDT和xgboost
qq_26890109的博客
02-28 297
gbdt（gradient boost decision tree）：梯度提升决策树；由多棵决策树组成，每棵决策树都是回归树random forest（随机森林）：随机森林中的每棵树都是由从训练集中抽取的样本训练得到的；同时在构建树时随机选择特征xgboost集成学习序列集成方法：所有学习器按顺序排列组合起来并行集成方法：各个学习器并行排列bagging，boosting，stackingbagg...
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
柳杰的博客
08-05 291
文章目录一、提升1.提升的概念2.提升算法3.梯度提升决策树-GBDT1)提升算法推导-梯度提升法2）GBDT4.XGBT推导1）提升算法推导-考虑使用二阶导信息2）决策树结构的划分3）XGBT总结5.Adaboost算法1）Adaboost算法推导2）Adaboost算法举例3）Adaboost算法收敛性证明4）Adaboost总结6.方差与偏差 一、提升 1.提升的概念 2.提升算法 3.梯度提升决策树-GBDT 1)提升算法推导-梯度提升法 2）GBDT 4.XGBT推导 1）提升算
机器学习提升算法之Adaboost、GB、GBDT与XGBoost算法
一路前行
09-09 1万+
一、Gradient boosting(GB) 梯度提升    提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中。如果每一步的弱预测模型生成都是一句损失函数 的梯度方向，则称之为梯度提升（Gradient boosting）。梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的若函数集合（基函数）；提升算法通过迭代的选择一个负梯
集成学习——Boosting算法：Adaboost、GBDT、XGBOOST和lightGBM的简要原理和区别
gjinc的博客
07-25 3634
Boosting算法是通过串联的方式，将一组弱学习器提升为强学习器算法。它的工作机制如下：（1）用初始训练集训练出一个基学习器；（2）依据基学习器的表现对训练样本分布进行调整，使得之前做错的训练样本在之后中得到最大的关注；（3）用调整后的样本分布进行下一个基学习器；（4）重复2-3的步骤，直到基学习器的数量达到了指定的T值后（5）将T个基学习器进行加权组合得到集成的学习器。而根据策略不同，会有Adaboost和GBDT、XGBoost三种常见的Boosting算法。
机器学习（五）集成算法（三）GBDT与Adaboost与Xgboost与LightGBM
一人白的博客
12-05 799
集成算法（三） 梯度提升树 简介： 基本思想：积跬步以至千里，每次学习一点。先用一个初始值来学习一棵决策树，叶子处可以得到预测的值，以及预测之后的残差，然后后面的决策树就是要基于前面决策树的残差来学习，直到预测值和真实值的残差为0。最后对于测试样本的预测值，就是前面许多棵决策树预测值的累加。 GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我...
GBDT 和 AdaBoost区别？
data+scenario+science+insight
06-11 659
GBDT 和 AdaBoost区别？ Adaboost算法是一种提升方法，将多个弱分类器，组合成强分类器。 AdaBoost，是英文”Adaptive Boosting“（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。 它的自适应在于：前一个弱分类器分错的样本的权值（样本对应的权值）会得到加强，权值更新后的样本再次被用来训练下一个新的弱分类器。在每轮训练中，用总体（样本总体）训练新的弱分类器，产生新的样本权值、该弱分类器的话语权，一直迭代直到达到预定的.
xgboost简单介绍_GBT、GBDT、GBRT与Xgboost
weixin_39878401的博客
12-20 405
我们首先介绍下提升树，再依此介绍梯度提升树、GBDT、GBRT，最后介绍Xgboost.提升树(boosting tree)提升树(boosting tree)是以决策树为基本学习器的提升方法，它被认为是统计学习中性能最好的方法之一。对于分类问题，提升树的决策树是二叉决策树，对于回归问题，提升树中的决策是二叉回归树。提升树模型可以表示为决策树为基学习器的加法模型： 其中， 表示第 个决策树， ...
GBDT的介绍
dong-技术驱动人生
08-22 1万+
一.GBDT简介：         GDBT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。它在被提出之初就和SVM一起被认为是泛化能力（generalization）较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起广泛关注。         GBDT是一个应用很广泛的算法，可以用来做分...
机器学习知识点总结 - xgboost, GBDT
Raymond_Love的博客
02-16 1508
GBDT和XGBoost在工业界和竞赛界有着广泛的应用。虽然使用起来并不难，但若能知其然也知其所以然，则会在使用时更加得心应手。本文主要是根据对陈天奇大神的PPT和原始论文的学习，梳理一下GBDT和XGBoost的“知识点”。 首先我们先列出CART，GB，GBDT和XGBoost之间的关系。 CART是分类与回归树（Classification and Regression Trees），是...
机器学习之GBDT、XGBoost
liuy9803的博客
06-10 3042
一、梯度提升决策树GBDT        GBDT（Gradient Boosting Decision Tree）是Boosting算法的一种，每轮迭代是在上一轮弱学习器的损失函数梯度下降的方向上，训练产生新的弱学习器，所有弱学习器加权组合得到最终的强学习器。GBDT对弱学习器的要求是要足够简单，即低方差&amp;高偏差，一般深度不会超过5，叶子节点的数量也不会超过10，默认选择CART回归树。...
机器学习模型——GBDT和Xgboost
qq_60688380的博客
04-08 1488
GBDT（Gradient Boosting Decision Tree，简称GBDT）梯度提升决策树，是Gradient Boost 框架下使用较多的一种模型，且在GBDT中，其基学习器是分类回归树也就是CART，且使用的是GBDT这个算法还有一些其他的名字, MART（Multiple Additive Regression Tree)，GBRT（Gradient Boost Regression Tree)，Tree Net，Treelink等。
机器学习算法比较：SVM、GBDT、Adaboost与神经网络
"这篇文档详细比较了机器学习中常见的几种算法，包括SVM，GBDT，Adaboost和神经网络，以及如何根据问题选择合适的算法。文档提到了'没有免费的午餐'定理，强调了没有万能的算法，并解释了偏差和方差的概念，这对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hellobigorange

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值