机器学习之sklearn工具包（梯度提升分类树二分类原理）

梯度提升分类树二分类原理

import numpy as np
from sklearn.ensemble import GradientBoostingClassifier
from sklearn import tree
import matplotlib.pyplot as plt
xi=np.arange(1,11)
yi=np.array([0,0,0,1,1]*2)
gbdt=GradientBoostingClassifier(n_estimators=3,max_depth=1)
gbdt.fit(xi.reshape(-1,1),yi)
print(gbdt.estimators_.shape)
_=tree.plot_tree(gbdt[0,0],filled=True)
plt.show()
print('均方误差:',np.var(yi))
# 第一颗决策树的构建
# 计算F0的值
F0=np.log(4/6)
print('F0=',F0)
# 计算残差，概率，负梯度
yi_1=yi-1/(1+np.exp(-F0))
print('yi_1=',yi_1)
# 计算每个裂分点的mse
mse1=[]
for i in range(1,11):
    if i==10:
        mse1.append(np