GBDT 分类与回归

print("====================================================")
print("===============Demo1===GBDT 分类=====================")
print("====================================================")
from sklearn.ensemble import GradientBoostingClassifier
from sklearn import cross_validation
from sklearn.datasets import load_iris

#获取数据
iris=load_iris()
#创建分类器
# model=GradientBoostingClassifier(n_estimators=100,learning_rate=1.0,max_depth=1,random_state=0)

#切分数据集
X_train,X_test,y_train,y_test=cross_validation.train_test_split(iris.data,iris.target,test_size=0.33, random_state=42)


model=GradientBoostingClassifier(
    loss='deviance',    ##损失函数默认deviance  deviance具有概率输出的分类的偏差
    learning_rate=0.1,  #默认100 回归树个数 弱学习器个数
    n_estimators=100,  #默认100 回归树个数 弱学习器个数
    max_depth=3,    #默认值为3每个回归树的深度  控制树的大小 也可用叶节点的数量max leaf nodes控制

    subsample=1,     #树生成时对样本采样 选择子样本<1.0导致方差的减少和偏差的增加
    min_samples_split=2,  #生成子节点所需的最小样本数 如果是浮点数代表是百分比
    min_samples_leaf=1,  #叶节点所需的最小样本数  如果是浮点数代表是百分比
    warm_start=False,  #True在前面基础上增量训练(重设参数减少训练次数) False默认擦除重新训练
    random_state=0,  #随机种子-方便重现
    max_features=None,  #在寻找最佳分割点要考虑的特征数量auto全选/sqrt开方/log2对数/None全选/int自定义几个/float百分比
    verbose=0,  ##打印输出 大于1打印每棵树的进度和性能
    max_leaf_nodes=None #叶节点的数量 None不限数量

)


# print(X_train[:10])
# print("==================")
# print(y_train[:10])

model.fit(X_train,y_train)
predicted=model.predict(X_test)
print(predicted)
test_y= model.predict_proba(X_test) ##预测概率
# print(model.score(X_test, y_test))  ##tp / (tp + fp)正实例占所有正实例的比例
# # print(model.feature_importances_)  ##输出特征重要性

# print(float(predicted.shape[0]-sum((predicted-y_test)*(predicted-y_test)))/predicted.shape[0])

score=cross_validation.cross_val_predict(model,iris.data,iris.target,cv=5)
# print(["score====",score])
# http://blog.csdn.net/q383700092/article/details/53744277
print("====================================================")
print("==================Demo2========GBDT  回归============")
print("====================================================")
from sklearn.ensemble import GradientBoostingRegressor
import numpy as np
from sklearn.datasets import make_friedman1
from sklearn.utils import shuffle
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
from sklearn import datasets

boston = datasets.load_boston()
X, y = shuffle(boston.data, boston.target, random_state=13) #抽取
X = X.astype(np.float32)
offset = int(X.shape[0] * 0.9) #设置取0.9做样本
X_train, y_train = X[:offset], y[:offset]
X_test, y_test = X[offset:], y[offset:]

# X,y=make_friedman1(n_samples=1200,random_state=0,noise=1.0)
# X_train,X_test=X[:200],X[200:]
# print(X_train)
# # print(X_test)
# y_train,y_test=y[:200],y[200:]
# print(y_train)
params={
    'loss':'ls',
    'n_estimators':100,
    'learning_rate':0.1,
    'max_depth': 4,
    'min_samples_split':2,
    'random_state' : 0
}

# ##默认ls损失函数'ls'是指最小二乘回归lad'（最小绝对偏差）'huber'是两者的组合
# n_estimators = 100,  ##默认100 回归树个数 弱学习器个数
# learning_rate = 0.1,  ##默认0.1学习速率/步长0.0-1.0的超参数  每个树学习前一个树的残差的步长
# max_depth = ,  ## 默认值为3每个回归树的深度  控制树的大小 也可用叶节点的数量max leaf nodes控制
# subsample = 1,  ##用于拟合个别基础学习器的样本分数 选择子样本<1.0导致方差的减少和偏差的增加
# min_samples_split = 2,  ##生成子节点所需的最小样本数 如果是浮点数代表是百分比
# min_samples_leaf = 1,  ##叶节点所需的最小样本数  如果是浮点数代表是百分比
# max_features = None,  ##在寻找最佳分割点要考虑的特征数量auto全选/sqrt开方/log2对数/None全选/int自定义几个/float百分比
# verbose = 0,  ##打印输出 大于1打印每棵树的进度和性能
# warm_start = False,  ##True在前面基础上增量训练 False默认擦除重新训练 增加树
# random_state = 0  # 随机种子-方便重现
clf=GradientBoostingRegressor(**params)

clf.fit(X_train,y_train)

mse = mean_squared_error(y_test,clf.predict(X_test))
print("MSE: %.4f" % mse) ##输出均方误差

r2 = r2_score(y_test, clf.predict(X_test))
print("r^2 on test data : %f" % r2) ##R^2 拟合优度=(预测值-均值)^2之和/(真实值-均值)^2之和

##绘图查看
import matplotlib.pyplot as plt
test_score = np.zeros((params['n_estimators'],), dtype=np.float64)
##计算每次迭代分数变化
for i, y_pred in enumerate(clf.staged_predict(X_test)):
    test_score[i] = clf.loss_(y_test, y_pred)

plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
plt.title('Deviance')
plt.plot(np.arange(params['n_estimators']) + 1, clf.train_score_, 'b-',
         label='Training Set Deviance')
plt.plot(np.arange(params['n_estimators']) + 1, test_score, 'r-',
         label='Test Set Deviance')
plt.legend(loc='upper right')
plt.xlabel('Boosting Iterations')
plt.ylabel('Deviance')
##输出特征重要性
feature_importance = clf.feature_importances_
# make importances relative to max importance
feature_importance = 100.0 * (feature_importance / feature_importance.max())
sorted_idx = np.argsort(feature_importance)  ##返回的是数组值从小到大的索引值
pos = np.arange(sorted_idx.shape[0]) + .5
plt.subplot(1, 2, 2)
plt.barh(pos, feature_importance[sorted_idx], align='center')
plt.yticks(pos, boston.feature_names[sorted_idx])
plt.xlabel('Relative Importance')
plt.title('Variable Importance')
plt.show()