scikit learn 梯度提升树

梯度提升树简单使用

梯度提升树不管是分类还是回归都是基于回归算法的。用回归的方式进行分类。也是森林也是集成算法。

import numpy as np
# f(x) = 3*x**2
# 梯度=导数
from sklearn.ensemble import GradientBoostingClassifier
from sklearn import datasets
from sklearn.model_selection import train_test_split

X,y = datasets.load_iris(True)
cond = y!=2
X = X[cond]
y = y[cond]
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.2)

#梯度提升树也是建立在决策树上，多棵树组成
gbdt = GradientBoostingClassifier(n_estimators=10)
#loss='deviance'偏离度 subsample=1.0样本全部 criterion='friedman_mse' 福瑞德man 均方误差 learning_rate=0.1学习率
gbdt.fit(X_train,y_train)
gbdt.score(X_test,y_test)
#1.0
gbdt.n_estimators_
#10
gbdt.estimators_.shape
#(10, 3) #分三类需要三棵树 一共30棵树
gbdt.estimators_.shape
#(10, 1) #分两类需要一棵树 一共10棵树

梯度提升树原理

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
# 回归是分类的极限思想
# 分类的类别多到一定程度，那么就是回归
from sklearn.ensemble import GradientBoostingClassifier,GradientBoostingRegressor
from sklearn import tree

# X数据：上网时间和购物金额
# y目标：14（高一）,16（高三），24（大学毕业）,26（工作两年）
X = np.array([[800,3],[1200,1],[1800,4],[2500,2]])
y = np.array([14,16,24,26])

# 梯度提升树用于分类，森林，集成算法，基本树（决策树，分类树）
# 用到的是，回归树
gbdt = GradientBoostingClassifier(n_estimators=10)
gbdt.fit(X,y)
gbdt.estimators_ #一共四十棵树

# 使用回归，数据连续的
gbdt = GradientBoostingRegressor(n_estimators=10)
gbdt.fit(X,y)
gbdt.predict(X)
#array([16.09207064, 17.39471376, 22.60528624, 23.90792936])

第一颗树，根据平均值，计算了残差[-6,-4,4,6]

plt.rcParams['font.sans-serif'] = 'KaiTi' #将字体设置为楷体
plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[0,0],filled=True,feature_names=['消费','上网'])
y - y.mean() #残差

# mse mean-square-error:均方误差
((y - y.mean())**2).mean()
#26.0

((y[:2] - y[:2].mean())**2).mean()
#1.0

第二颗树，根据梯度提升，减小残差（残差越小，结果越好，越准确）

# learning_rate = 0.1
gbdt1 = np.array([-6,-4,6,4])
# 梯度提升 学习率0.1
gbdt1 - gbdt1*0.1
#array([-5.4, -3.6,  5.4,  3.6])

plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[1,0],filled=True,feature_names=['消费','上网'])

第三颗树，根据梯度提升，减小残差（残差越小，结果越好，越准确）

gbdt2 = np.array([-5.4,-3.6,5.4,3.6])
# 梯度提升 learning_rate = 0.1
gbdt2 - gbdt2*0.1
#array([-4.86, -3.24,  4.86,  3.24])

plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[2,0],filled=True,feature_names=['消费','上网'])

最后一颗树，预测的残差

plt.figure(figsize=(9,6))
_ = tree.plot_tree(gbdt[-1,0],filled=True,feature_names=['消费','上网'])

# 最后一颗树，预测的残差
nd2 = np.array([-2.325,-1.55,1.55,2.325])
# 最后一次的残差
residual = nd2 - nd2*0.1
residual
#array([-2.0925, -1.395 ,  1.395 ,  2.0925])

根据最后一棵树的残差，计算了算法最终的预测值

y - residual
#array([16.0925, 17.395 , 22.605 , 23.9075])

直接使用算法predict返回的值，和手算一模一样

gbdt.predict(X).round(3)
#array([16.092, 17.395, 22.605, 23.908])