Python实现GBDT(梯度提升树)分类模型(GradientBoostingClassifier算法)并应用网格搜索算法寻找最优参数项目实战

说明：这是一个机器学习实战项目（附带数据+代码+文档+视频讲解），如需数据+代码+文档+视频讲解可以直接到文章最后获取。

1.项目背景

GBDT是Gradient Boosting Decision Tree（梯度提升树）的缩写。GBDT分类又是建立在回归树的基础上的。

本项目应用GBDT算法实现多分类模型。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成)，数据项统计如下：

 数据详情如下(部分展示)：

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据：

关键代码：

3.2数据缺失查看

使用Pandas工具的info()方法查看数据信息：

从上图可以看到，总共有9个变量，数据中无缺失值，共2000条数据。

关键代码：

3.3数据描述性统计

通过Pandas工具的describe()方法来查看数据的平均值、标准差、最小值、分位数、最大值。

 关键代码如下：

4.探索性数据分析

4.1 y分类变量柱状图

用Matplotlib工具的plot()方法绘制柱状图：

从上图可以看出，y变量为0 1 2类型的样本数量基本一致。

4.2 y变量类型为0 x1变量分布直方图

用Pandas工具的hist()方法绘制柱状图：

从上图可以看到，分类类型为0的x1变量主要集中在0.5~2.0之间。

4.3 数据相关性分析

 数据越大相关性越强，正值是正相关  负值是负相关。上图可以看到x3 x4 x6 x7和y是正相关；x1 x2 x5 x8和y是负相关。

5.特征工程

5.1 建立特征数据和标签数据

关键代码如下：

 

5.2 数据集拆分

通过train_test_split()方法按照80%训练集、20%测试集进行划分，关键代码如下：

6.构建GBDT分类模型

主要使用GradientBoostingClassifier算法，用于目标分类。

6.1默认参数模型构建

6.2 模型调优：应用网格搜索寻找最优参数值

针对模型中的两个参数n_estimators和learning_rate，通过网格搜索算法寻找最优的参数值，如下图所示：

 6.3 最优参数模型构建

7. 模型评估

7.1 评估指标及结果

评估指标主要包括准确率、查准率、查全率(召回率)、F1分值等等。

通过上表可以看到，模型的准确率为91.75%,F1分值为0.9171，和默认相比相比，准确率和F1分值有一点的增加。

7.2 查看是否过拟合

从上图可以看出，训练集和测试集分值相当，无过拟合现象。

7.3 分类报告

从上图可以看出，分类为0的F1分值为0.90；分类为1的F1分值为0.90；分类为2的F1分值为0.94。

7.4 混淆矩阵

从上图可以看出，实际为0预测不为0的 有7个样本；实际为1  预测不为1的  有13个样本，；实际为2  预测不为2的  有13个样本，在可接受的范围内。

7.5 特征重要性

从上图可以看出，特征重要性排名前三的为x1 x8 x3。

8.结论与展望

综上所述，本文采用了GBDT分类模型，最终证明了我们提出的模型效果良好。

# 本次机器学习项目实战所需的资料，项目资源如下：

链接：https://pan.baidu.com/s/1I5zKel1xbX6ainhu17W7JQ 
提取码：5qnb






# 用Pandas工具查看数据
print('*******************查看数据*********************')
print(data.head())

# 数据缺失值统计
print('********************数据缺失值统计********************')
print(data.info())

# 数据描述性统计分析
# 设置显示格式
pd.set_option('display.max_columns', None)  # 显示所有字段

print('******************数据描述性统计分析**********************')
print(data.describe().round(4))  # 保留4位小数点

import matplotlib.pyplot as plt

# y变量分类柱状图
plt.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体
plt.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题
# kind='bar' 绘制柱状图