# 先导入我们需要的库
import numpy as np
import pandas as pd
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import train_test_split # 用于划分测试集与训练集
from sklearn.datasets import load_iris # 使用sklearn库中的iris数据集
data = load_iris()
X = data.data # 特征
Y = data.target # 类标
X = X[0:100, :]
Y = Y[0:100] # 我们做个二分类,iris本来是三个类,前100 个包括两个类
X_train, X_test, Y_train, Y_test = train_test_split(X, Y,
test_size=0.2, random_state=0) # 数据划分
clas = GradientBoostingClassifier(random_state=2020) # 我们用的默认参数,如果数据比较复杂,需要调参
clas.fit(X_train, Y_train) # 训练模型
clas.predict(X_train) # 预测训练集
clas.predict(X_test) # 预测测试集
print("训练集准确率:%s" % clas.score(X_train, Y_train)) # 输出测试集准确度
print("测试集准确率:%s" % clas.score(X_test, Y_test)) # 输出测试集准确度
运行结果:
训练集准确率:1.0
测试集准确率:1.0
优秀讲解资料:
http://www.ccs.neu.edu/home/vip/teach/MLcourse/4_boosting/slides/gradient_boosting.pdf
相关知识
load_iris数据集
Iris数据集在模式识别研究领域应该是最知名的数据集了,有很多文章都用到这个数据集。这个数据集里一共包括150行记录,其中前四列为花萼长度,花萼宽度,花瓣长度,花瓣宽度等4个用于识别鸢尾花的属性,第5列为鸢尾花的类别(包括Setosa,Versicolour,Virginica三类)。也即通过判定花萼长度,花萼宽度,花瓣长度,花瓣宽度的尺寸大小来识别鸢尾花的类别。
完整模板:
train_X,test_X,train_y,test_y = train_test_split(train_data,train_target,test_size=0.3,random_state=5)