梯度提升（GBDT）实战

最新推荐文章于 2024-01-24 15:20:17 发布
最新推荐文章于 2024-01-24 15:20:17 发布
阅读量1k 收藏 6
点赞数 1
分类专栏： Sklearn工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014168855/article/details/105481881
版权

梯度提升实战


本文环境为notebook

1.梯度下降

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
# 定义目标函数，二次函数
f = lambda x : (x - 3)**2 + 2.5*x -7.5
# 导数 = 梯度，求解导数令导数=0求解最小值
# 2*(x - 3)*1 + 2.5 = 0
# 2*x - 3.5 = 0
# x = 1.75
x = np.linspace(-2,5,100)
y = f(x)
plt.plot(x,y)

在这里插入图片描述
梯度下降求解最小值

# 导数函数
d = lambda x : 2*(x - 3) + 2.5
# 学习率，每次改变数值的时候，改变多少
learning_rate = 0.1
# min_value瞎蒙的值，方法，最快的速度找到最优解（梯度下降）
min_value = np.random.randint(-3,5,size = 1)[0]
print('-------------------',min_value)
# 记录数据更新了，原来的值，上一步的值,退出条件
min_value_last = min_value + 0.1
# tollerence容忍度，误差，在万分之一，任务结束
tol = 0.0001
count = 0
while True:
    if np.abs(min_value - min_value_last) < tol:
        break
#     梯度下降
    min_value_last = min_value
#     更新值:梯度下降
    min_value = min_value - learning_rate*d(min_value)
    count +=1
    print('+++++++++++++++++++++%d'%(count),min_value)
print('**********************',min_value)

在这里插入图片描述

2.梯度提升

f2 = lambda x : -(x - 3)**2 + 2.5*x -7.5
x = np.linspace(-2,10,100)
y = f2(x)
plt.plot(x,y)

在这里插入图片描述

# 梯度提升
# 导数函数

result = []

d2 = lambda x : -2*(x - 3) + 2.5

learning_rate = 0.1
# max_value瞎蒙的值，方法，最快的速度找到最优解（梯度下降）
# 梯度消失，梯度爆炸（因为学习率太大）
max_value = np.random.randint(2,8,size = 1)[0]
# max_value = 1000

result.append(max_value)

print('-------------------',max_value)
# 记录数据更新了，原来的值，上一步的值,退出条件
max_value_last = max_value + 0.001
# tollerence容忍度，误差，在万分之一，任务结束
# precision精确度，精度达到了万分之一，任务结束
precision = 0.0001
count = 0
while True:
    if count >3000:
        break
    if np.abs(max_value - max_value_last) < precision:
        break
#     梯度上升
    max_value_last = max_value
#     更新值:梯度上升
    max_value = max_value - learning_rate*d2(max_value)
    result.append(max_value)
    count +=1
    print('+++++++++++++++++++++%d'%(count),max_value)
print('**********************',max_value)

在这里插入图片描述

plt.figure(figsize=(12,9))
x = np.linspace(4,8,100)
y = f2(x)
plt.plot(x,y)
result = np.asarray(result)
plt.plot(result,f2(result),'*')

在这里插入图片描述

3.梯度提升用于回归

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
# 回归是分类的极限思想
# 分类的类别多到一定程度，那么就是回归
from sklearn.ensemble import GradientBoostingClassifier,GradientBoostingRegressor
from sklearn import tree
# X数据：上网时间和购物金额
# y目标：14（高一）,16（高三），24（大学毕业）,26（工作两年）
X = np.array([[800,3],[1200,1],[1800,4],[2500,2]])
y = np.array([14,16,24,26])
# 梯度提升树用于分类，森林，集成算法，基本树（决策树，分类树）

# 使用回归，数据连续的
gbdt = GradientBoostingRegressor(n_estimators=10)
gbdt.fit(X,y)
gbdt.predict(X)
gbdt.estimators_

在这里插入图片描述
对于回归问题的提升树算法来说，若损失函数是平方损失函数，每一步只需简单拟合当前模型的残差。

# mse mean-square-error:均方误差
((y - y.mean())**2).mean()

在这里插入图片描述

((y[:2] - y[:2].mean())**2).mean()

在这里插入图片描述

# 第一颗树，根据平均值，计算了残差[-6,-4,4,6]
plt.rcParams['font.sans-serif'] = 'KaiTi'
plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[0,0],filled=True,feature_names=['消费','上网'])
y - y.mean()

在这里插入图片描述

#第二颗树，根据梯度提升，减小残差（残差越小，结果越好，越准确）
# learning_rate = 0.1
gbdt1 = np.array([-6,-4,6,4])
# 梯度提升 学习率0.1
gbdt1 - gbdt1*0.1

在这里插入图片描述

plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[1,0],filled=True,feature_names=['消费','上网'])

在这里插入图片描述

#第三颗树，根据梯度提升，减小残差（残差越小，结果越好，越准确）
gbdt2 = np.array([-5.4,-3.6,5.4,3.6])
# 梯度提升 learning_rate = 0.1
gbdt2 - gbdt2*0.1
plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[2,0],filled=True,feature_names=['消费','上网'])

在这里插入图片描述

#最后一颗树，预测的残差
plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[-1,0],filled=True,feature_names=['消费','上网'])

在这里插入图片描述

# 最后一颗树，预测的残差
nd2 = np.array([-2.325,-1.55,1.55,2.325])
# 最后一次的残差
residual = nd2 - nd2*0.1
residual
#array([-2.0925, -1.395 ,  1.395 ,  2.0925])
#根据最后一棵树的残差，计算了算法最终的预测值
y - residual
# array([16.0925, 17.395 , 22.605 , 23.9075])

#直接使用算法predict返回的值，和手算一模一样
gbdt.predict(X).round(3)
#array([16.092, 17.395, 22.605, 23.908])

4.梯度提升用于分类

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.ensemble import GradientBoostingClassifier
from sklearn import tree
xi = np.arange(1,11)
yi = np.array([0,0,0,1,1]*2)
display(xi,yi)

在这里插入图片描述

gbdt = GradientBoostingClassifier(n_estimators=3,max_depth=1)
gbdt.fit(xi.reshape(-1,1),yi)
gbdt.estimators_.shape
# (3, 1)

在这里插入图片描述

((yi - yi. mean())**2).mean()
# 0.24
np.var(yi)
# 0.24

# 第一颗决策树构建
plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[0,0],filled=True)

在这里插入图片描述
在这里插入图片描述

F0 = np.log(4/6)
F0
# -0.40546510810816444

在这里插入图片描述

# 残差，概率，负梯度
yi_1 = yi - 1/(1 + np.exp(-F0))
yi_1
 # array([-0.4, -0.4, -0.4,  0.6,  0.6, -0.4, -0.4, -0.4,  0.6,  0.6])

# 计算每个裂分点mse
mse1 = []

for i in range(1,11):
    if i == 10:
        mse1.append(np.var(yi_1))
    else:
        mse1.append((np.var(yi_1[:i])*i + np.var(yi_1[i:])*(10 - i))/10)
        
print(np.round(mse1,4))
mse1 = np.asarray(mse1)
mse1
# [0.2222 0.2    0.1714 0.225  0.24   0.2333 0.2095 0.15   0.2    0.24  ]
array([0.22222222, 0.2       , 0.17142857, 0.225     , 0.24      ,
       0.23333333, 0.20952381, 0.15      , 0.2       , 0.24      ])

在这里插入图片描述

# 两个分支，左边这个分支预测值
np.round(yi_1[:8].sum()/(((yi[:8] - yi_1[:8])*(1 - yi[:8] + yi_1[:8])).sum()),3)
# -0.625
np.round(yi_1[8:].sum()/(((yi[8:] - yi_1[8:])*(1 - yi[8:] + yi_1[8:])).sum()),3)
# 2.5
gbdt[0,0].predict(xi.reshape(-1,1))
#array([-0.625, -0.625, -0.625, -0.625, -0.625, -0.625, -0.625, -0.625,
 #       2.5  ,  2.5  ])
 # 第一颗数据预测的值
y_1 = [-0.625]*8 + [2.5]*2
y_1 = np.asarray(y_1)
y_1 
# array([-0.625, -0.625, -0.625, -0.625, -0.625, -0.625, -0.625, -0.625,
 #       2.5  ,  2.5  ])

在这里插入图片描述

# 学习率 learning_rate = 0.1
F1 = F0 + y_1*0.1
F1.round(4)
# array([-0.468 , -0.468 , -0.468 , -0.468 , -0.468 , -0.468 , -0.468 ,-0.468 , -0.1555, -0.1555])
# 残差，概率，负梯度
yi_2 = yi - 1/(1 + np.exp(-F1))
yi_2.round(4)
# array([-0.3851, -0.3851, -0.3851,  0.6149,  0.6149, -0.3851, -0.3851,-0.3851,  0.5388,  0.5388])

# 拟合第二颗树
# 计算每个裂分点mse
mse2 = []

for i in range(1,11):
    if i == 10:
        mse2.append(np.var(yi_2))
    else:
        mse2.append((np.var(yi_2[:i])*i + np.var(yi_2[i:])*(10 - i))/10)
        
print(np.round(mse2,4))
mse2 = np.asarray(mse2)
# mse2
# [0.2062 0.1856 0.1592 0.2105 0.2224 0.2187 0.1998 0.15   0.1904 0.2227]
plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[1,0],filled=True)

在这里插入图片描述

# 两个分支，左边这个分支预测值
np.round(yi_2[:8].sum()/(((yi[:8] - yi_2[:8])*(1 - yi[:8] + yi_2[:8])).sum()),3)
# -0.571
# 两个分支，右边这个分支预测值
np.round(yi_2[8:].sum()/(((yi[8:] - yi_2[8:])*(1 - yi[8:] + yi_2[8:])).sum()),3)
# 2.168
bingxiash
关注
专栏目录
Spark 3.0 - 12.ML GBDT 梯度提升树理论与实战
BITDDD小栈
12-16 759
Spark ML 3.0 GBDT 理论与实践。
梯度提升决策树GBDT原理与代码实例讲解
最新发布
AGI通用人工智能之禅
09-18 162
梯度提升决策树GBDT原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 决策树（Decision Tr
GBDT实战
huahuaxiaoshao的博客
01-14 835
1.GBDT函数的参数 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;（1）n_estimators: 也就是弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是100。在实际调参的过程中，我们常常将n_estimators和下面介绍的参数learn...
GBDT实战 —— 产品定价模型
weixin_45451576的博客
08-05 1521
GBDT实战 —— 产品定价模型
GBDT分类实战完全总结（一）
xiaoliuhexiaolu的博客
06-05 5826
第一部分：参数说明（一）、简述sklearn自带的ensemble模块中集成了GradientBoostingClassifier的类，参数包括：class sklearn.ensemble.GradientBoostingClassifier(loss=’deviance’, learning_rate=0.1, n_estimators=100, subsample=1.0, criterio...
【机器学习基础】GBDT--梯度提升树实例分析完全解读
weixin_34138139的博客
05-08 408
GBDT是集成学习中的一员，想要理解梯度提升，必须先理解什么是提升树，想理解提升树要了解什么是提升方法。 提升方法本身是采用了加法模型（基函数的线性组合）和前向分步算法，从弱学习算法出发，反复学习，得到一系列弱学习器，然后通过组合弱学习器得到强学习器。当每个弱学习器是CART树的时候，就是提升树。对于回归问题一般采用平方误差作为损失函数，分类问题采用指数损失函数，一般问题用一般的损失函数。 一、提...
GBDT(1)-梯度提升决策树（Gradient Boosting Decision Tree）
Lavender-csdn的博客
03-13 780
GBDT也是集成学习中的一种算法，我们之前已经讲了Boosting集成学习的思想，在了解GBDT之前，我们先了解一下提升树。 提升树 提升树是以分类树或者回归树为基本分类器的提升方法。采用加法模型(即基函数的线性组合)与向前分布算法，以决策树为基函数的提升方法称为提升树(boosting tree)，对于分类问题其决策树是二叉分类树，对于回归问题决策树是二叉回归树。提升树的模型可以表示为： ...
train_and_test - 2只有VCE_决策树_DEMO_梯度提升树_梯度提升决策树预测模型_
10-03
本示例中的"train_and_test - 2只有VCE_决策树_DEMO_梯度提升树_梯度提升决策树预测模型_"是一个用Python实现的实战项目，它展示了如何使用决策树和梯度提升决策树来构建预测模型。以下将详细解析这个项目的重点内容...
MATLAB算法实战应用案例精讲-【数模应用】梯度提升决策树（GDBT）（附python代码）
qq_36130719的博客
09-01 1450
GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。.........
梯度图像增强
03-18
在梯度域的图像直方图增强，本文主要是灰度图像的代码
排序算法经典模型: 梯度提升决策树（GBDT）的应用实战
击水三千里的专栏
01-24 1880
梯度提升决策树(GBDT)是一种基于Boosting思想和决策树的机器学习算法。它通过迭代建立决策树弱学习器来逼近目标变量,并结合了梯度下降的思想来优化损失函数。GBDT可用于回归和分类任务,广泛应用于推荐系统等领域。
GBDT算法实践
Tak-Wah Blog
07-24 360
下面对GBDT做简单的实现。 （1）加载需要的python模块 import pandas as pd import numpy as np import pydotplus from sklearn.ensemble import GradientBoostingClassifier from sklearn import metrics from sklearn.externals.six import StringIO from sklearn import tree （2）数据..
【项目实战】Python实现GBDT(梯度提升树)回归模型(GradientBoostingRegressor算法)项目实战
热门推荐
张陈亚的博客
05-11 1万+
Python实现GBDT(梯度提升树)回归模型(GradientBoostingRegressor算法)项目实战
GBDT算法原理及实战(转载)
CurryCoder的个人博客
05-29 620
1.博客原文 GBDT算法原理以及实战
吴裕雄 数据挖掘与分析案例实战（13）——GBDT模型的应用
weixin_30772261的博客
12-03 465
# 导入第三方包import pandas as pdimport matplotlib.pyplot as plt # 读入数据default = pd.read_excel(r'F:\\python_Data_analysis_and_mining\\14\\default of credit card clients.xls')print(default.shape)print(...
python机器学习案例-梯度提升模型搭建及评估（完整代码+实现效果）
数据杂坛
05-29 762
python机器学习案例-梯度提升模型搭建及评估。
GBDT算法原理及实战
weixin_44852067的博客
04-19 1万+
GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，是一种迭代的决策树算法，又叫 MART(Multiple Additive Regression Tree)，它通过构造一组弱的学习器(树)，并把多棵决策树的结果累加起来作为最终的预测输出。该算法将决策树与集成思想进行了有效的结合。
Python+GBDT算法实战——预测实现100%准确率
gb4215287的博客
03-29 4437
在本文中，你将学习到以下内容： GBDT算法实现 模型保存 模型加载及预测 前言 GBDT属于Boosting算法，它是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一棵CART回归树。GBDT的会累加所有树的结果，而这种累加是无法通过分类完成的，因此GBDT的树都是CART回归树，而不是分类树（尽管GBDT调整后也可以用于分类但不代表GBDT的树为分类树）。本文就是利用...
XGBoost详解：极致梯度提升算法与实战应用
XGBoost是一种强大的开源库，特别适用于大规模并行化的梯度增强决策树（GBDT）模型。它在众多机器学习竞赛中表现出色，由于其高效性和性能，成为了许多数据科学家首选的工具。 该演讲首先概述了集成算法的思想，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值