print("====================================================") print("===============Demo1===GBDT 分类=====================") print("====================================================") from sklearn.ensemble import GradientBoostingClassifier from sklearn import cross_validation from sklearn.datasets import load_iris #获取数据 iris=load_iris() #创建分类器 # model=GradientBoostingClassifier(n_estimators=100,learning_rate=1.0,max_depth=1,random_state=0) #切分数据集 X_train,X_test,y_train,y_test=cross_validation.train_test_split(iris.data,iris.target,test_size=0.33, random_state=42) model=GradientBoostingClassifier( loss='deviance', ##损失函数默认deviance deviance具有概率输出的分类的偏差 learning_rate=0.1, #默认100 回归树个数 弱学习器个数 n_estimators=100, #默认100 回归树个数 弱学习器个数 max_depth=3, #默认值为3每个回归树的深度 控制树的大小 也可用叶节点的数量max leaf nodes控制 subsample=1, #树生成时对样本采样 选择子样本<1.0导致方差的减少和偏差的增加 min_samples_split=2, #生成子节点所需的最小样本数 如果是浮点数代表是百分比 min_samples_leaf=1, #叶节点所需的最小样本数 如果是浮点数代表是百分比 warm_start=False, #True在前面基础上增量训练(重设参数减少训练次数) False默认擦除重新训练 random_state=0, #随机种子-方便重现 max_features=None, #在寻找最佳分割点要考虑的特征数量auto全选/sqrt开方/log2对数/None全选/int自定义几个/float百分比 verbose=0, ##打印输出 大于1打印每棵树的进度和性能 max_leaf_nodes=None #叶节点的数量 None不限数量 ) # print(X_train[:10]) # print("==================") # print(y_train[:10]) model.fit(X_train,y_train) predicted=model.predict(X_test) print(predicted) test_y= model.predict_proba(X_test) ##预测概率 # print(model.score(X_test, y_test)) ##tp / (tp + fp)正实例占所有正实例的比例 # # print(model.feature_importances_) ##输出特征重要性 # print(float(predicted.shape[0]-sum((predicted-y_test)*(predicted-y_test)))/predicted.shape[0]) score=cross_validation.cross_val_predict(model,iris.data,iris.target,cv=5) # print(["score====",score]) # http://blog.csdn.net/q383700092/article/details/53744277 print("====================================================") print("==================Demo2========GBDT 回归============") print("====================================================") from sklearn.ensemble import GradientBoostingRegressor import numpy as np from sklearn.datasets import make_friedman1 from sklearn.utils import shuffle from sklearn.metrics import mean_squared_error from sklearn.metrics import r2_score from sklearn import datasets boston = datasets.load_boston() X, y = shuffle(boston.data, boston.target, random_state=13) #抽取 X = X.astype(np.float32) offset = int(X.shape[0] * 0.9) #设置取0.9做样本 X_train, y_train = X[:offset], y[:offset] X_test, y_test = X[offset:], y[offset:] # X,y=make_friedman1(n_samples=1200,random_state=0,noise=1.0) # X_train,X_test=X[:200],X[200:] # print(X_train) # # print(X_test) # y_train,y_test=y[:200],y[200:] # print(y_train) params={ 'loss':'ls', 'n_estimators':100, 'learning_rate':0.1, 'max_depth': 4, 'min_samples_split':2, 'random_state' : 0 } # ##默认ls损失函数'ls'是指最小二乘回归lad'(最小绝对偏差)'huber'是两者的组合 # n_estimators = 100, ##默认100 回归树个数 弱学习器个数 # learning_rate = 0.1, ##默认0.1学习速率/步长0.0-1.0的超参数 每个树学习前一个树的残差的步长 # max_depth = , ## 默认值为3每个回归树的深度 控制树的大小 也可用叶节点的数量max leaf nodes控制 # subsample = 1, ##用于拟合个别基础学习器的样本分数 选择子样本<1.0导致方差的减少和偏差的增加 # min_samples_split = 2, ##生成子节点所需的最小样本数 如果是浮点数代表是百分比 # min_samples_leaf = 1, ##叶节点所需的最小样本数 如果是浮点数代表是百分比 # max_features = None, ##在寻找最佳分割点要考虑的特征数量auto全选/sqrt开方/log2对数/None全选/int自定义几个/float百分比 # verbose = 0, ##打印输出 大于1打印每棵树的进度和性能 # warm_start = False, ##True在前面基础上增量训练 False默认擦除重新训练 增加树 # random_state = 0 # 随机种子-方便重现 clf=GradientBoostingRegressor(**params) clf.fit(X_train,y_train) mse = mean_squared_error(y_test,clf.predict(X_test)) print("MSE: %.4f" % mse) ##输出均方误差 r2 = r2_score(y_test, clf.predict(X_test)) print("r^2 on test data : %f" % r2) ##R^2 拟合优度=(预测值-均值)^2之和/(真实值-均值)^2之和 ##绘图查看 import matplotlib.pyplot as plt test_score = np.zeros((params['n_estimators'],), dtype=np.float64) ##计算每次迭代分数变化 for i, y_pred in enumerate(clf.staged_predict(X_test)): test_score[i] = clf.loss_(y_test, y_pred) plt.figure(figsize=(12, 6)) plt.subplot(1, 2, 1) plt.title('Deviance') plt.plot(np.arange(params['n_estimators']) + 1, clf.train_score_, 'b-', label='Training Set Deviance') plt.plot(np.arange(params['n_estimators']) + 1, test_score, 'r-', label='Test Set Deviance') plt.legend(loc='upper right') plt.xlabel('Boosting Iterations') plt.ylabel('Deviance') ##输出特征重要性 feature_importance = clf.feature_importances_ # make importances relative to max importance feature_importance = 100.0 * (feature_importance / feature_importance.max()) sorted_idx = np.argsort(feature_importance) ##返回的是数组值从小到大的索引值 pos = np.arange(sorted_idx.shape[0]) + .5 plt.subplot(1, 2, 2) plt.barh(pos, feature_importance[sorted_idx], align='center') plt.yticks(pos, boston.feature_names[sorted_idx]) plt.xlabel('Relative Importance') plt.title('Variable Importance') plt.show()
GBDT 分类与回归
最新推荐文章于 2024-07-10 22:38:17 发布