利用GBDT进行对表格类数据的机器学习的案例解析

已于 2024-09-04 09:05:58 修改
阅读量898 收藏 17
点赞数 30
分类专栏： 机器学习 文章标签： 机器学习 算法 人工智能 python
于 2024-08-15 11:41:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_80651329/article/details/141209255
版权

一：题目简介

在数据集中，每个样本都对应一个葡萄牙大学的学生。原始数据集中共有4424名学生，。对于每个学生，我们获得了人口统计数据、宏观经济数据以及课程前两个学期的表现。目标是预测学生在三年或四年学习后的状态：是否毕业、仍在就读，或退学。题目提供了训练集，测试集和提交格式。

下载或观看数据集入口：‌‍⁠​‍‬‬‍‍‌⁠‌​​‌​​​‌​‬⁠​​​​‍​‬​⁠​‌​​⁠‬​​利用GBDT进行对表格类数据的机器学习的实战项目所需数据集 - 飞书云文档 (feishu.cn)

二：利用GBDT来进行机器学习对问题求解

本文要采取的方法是表格类比赛经典建模方法

数据EDA、特征工程、GBDT模型家族、交叉验证，模型融合

我们跳过数据EDA，直接先进入特征工程。

GBDT（Gradient Boosting Decision Tree，梯度提升决策树）是一种流行的机器学习算法，它主要用于回归和分类问题。GBDT 是一种集成学习算法，它通过构建和组合多个决策树来形成一个强大的预测模型。
以下是 GBDT 的一些关键特性：
基本原理
1. 迭代增强：GBDT 通过迭代地训练决策树来最小化损失函数。每一棵树都是为了纠正前一棵树的错误而构建的。
2. 梯度提升：算法的名字来源于它使用梯度下降法的近似来训练模型。在每次迭代中，算法计算损失函数关于当前模型的梯度，然后用一棵新的决策树来拟合这个梯度。
构建过程
1. 初始化：通常，GBDT 以一个常数预测（例如，回归问题的均值或分类问题的众数）开始。
2. 负梯度：在每次迭代中，算法计算当前损失函数的负梯度，这些梯度代表了当前模型的误差。
3. 决策树拟合：算法训练一个新的决策树来拟合这些负梯度（也称为残差）。
4. 更新模型：新训练的决策树用来更新模型，通常是通过加权求和的方式（树的预测乘以一个学习率）。
核心优势
1. 准确性：GBDT 在许多问题上都表现出很高的预测准确性。
2. 灵活性：它可以处理各种类型的数据，包括连续值和类别值。
3. 鲁棒性：GBDT 对于异常值不敏感，并且通常不需要太多的数据预处理。
关键参数
1. 树的数量：构建的决策树的数量，更多的树可能会提高模型的准确性，但也可能导致过拟合。
2. 树的大小：单个决策树的大小（深度或叶子节点数），控制模型的复杂度。
3. 学习率：也称为收缩率，它控制每棵树对最终模型的影响程度。
应用场景
GBDT 在各种应用中都非常流行，包括但不限于：
- 广告点击率预测
- 信用评分
- 异常检测
- 排序问题
常用实现
GBDT 有几个流行的开源实现，包括：
- XGBoost
- LightGBM
- CatBoost
这些库提供了高效的算法实现，并且支持并行计算和分布式计算，使得 GBDT 能够在大数据集上快速训练。
总的来说，GBDT 是一个强大的机器学习算法，它通过结合多个简单的决策树来构建一个复杂的、高准确度的预测模型。由于它的准确性和灵活性，GBDT 在工业界和学术界都得到了广泛的应用。

在开始之前，环境配置需要先用Python导入我们所需的库，sklearn集成了大多数机器学习库。

import pickle
import json
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import ExtraTreeClassifier
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.model_selection import KFold, StratifiedKFold
import lightgbm as lgb
import xgboost as xgb
import catboost as cb

1：特征工程

特征工程(FE)是将原始特征转化为更好的表达问题本质的特征。比如预测房价时，将房子的长宽组合成面积，就是更好的特征表达

GBDT类算法不需要做特征归一化或离散化

LightGBM/CatBoost可以处理类别特征，只需转成自然数即可； XGBoost则需要做OneHot编码，当 然也可尝试直接以自然数输入

可以通过观察数据的特征得到类别特征和数值特征。

数据简介入口：UCI Machine Learning Repository

先读入数据：

train_df = pd.read_csv('../input/train.csv', index_col=0)
test_df = pd.read_csv('../input/test.csv', index_col=0)
com_df = pd.concat([train_df, test_df], axis=0, ignore_index=False)

类别特征为：

ori_cat_feats = [
    'Marital status',
    'Application mode',
    'Application order',
    'Course',
    'Daytime/evening attendance',
    'Previous qualification',
    'Nacionality',
    'Mother\'s qualification',
    'Father\'s qualification',
    'Mother\'s occupation',
    'Father\'s occupation',
    'Displaced',
    'Educational special needs',
    'Debtor',
    'Tuition fees up to date',
    'Gender',
    'Scholarship holder',
    'International',
]

数值特征为：

ori_num_feats = [
    'Previous qualification (grade)',
    'Admission grade',
    'Age at enrollment',
    'Curricular units 1st sem (credited)',
    'Curricular units 1st sem (enrolled)',
    'Curricular units 1st sem (evaluations)',
    'Curricular units 1st sem (approved)',
    'Curricular units 1st sem (grade)',
    'Curricular units 1st sem (without evaluations)',
    'Curricular units 2nd sem (credited)',
    'Curricular units 2nd sem (enrolled)',
    'Curricular units 2nd sem (evaluations)',
    'Curricular units 2nd sem (approved)',
    'Curricular units 2nd sem (grade)',
    'Curricular units 2nd sem (without evaluations)',
    'Unemployment rate',
    'Inflation rate',
    'GDP',
]

然后清除列名中的特殊字符：

special_char = ["'", '/', ' ']
def normalize_feature_name(name):
    for c in special_char:
        name = name.replace(c, '_')
    name = name.replace('(', '').replace(')', '')
    return name

ori_all_feats = [normalize_feature_name(col) for col in ori_all_feats]
ori_cat_feats = [normalize_feature_name(col) for col in ori_cat_feats]
ori_num_feats = [normalize_feature_name(col) for col in ori_num_feats]

train_df.columns = train_df.columns.map(normalize_feature_name)
test_df.columns = test_df.columns.map(normalize_feature_name)

对分类特征以及预测的目标值进行数字编码，‘Graduate’ 被映射为 0，‘Enrolled’ 被映射为 1，而 ‘Dropout’ 被映射为 2。

for col in ori_cat_feats:
    com_df[col] = LabelEncoder().fit_transform(com_df[col])

label2code = {
    'Graduate': 0,
    'Enrolled': 1,
    'Dropout': 2,
}

code2label = {v: v for k, v in label2code.items()}
com_df['Target'] = com_df['Target'].map(label2code)

train_df = com_df.loc[train_df.index]
test_df = com_df.loc[test_df.index]

支持我们就完成了简易化的特征工程。

2：LightGBM模型建立与交叉验证(CV)

LightGBM是GBDT 有几个流行的开源实现。交叉验证是一种统计学方法，交叉验证涉及到将数据集分成几个较小的子集，并使用这些子集来训练和验证模型，用于评估机器学习模型在独立数据集上的预测性能。它是用来避免过拟合和提高模型泛化能力的一种技术。

如图为交叉验证的图解：

5e2a77b5f39148dc80b99161a477ea54.png

在LightGBM中，需要自定义参数，可以使用默认参数，也可以在网上找优秀的参数，也可以寻找软件开源包自动求参。

如下为一组适合本题的LightGBM参数：

params = {
    'num_threads': 32,
    'learning_rate': 0.01,
    'objective': 'multiclass',
    'num_class': 3,
    'num_leaves': 31,
    'min_data_in_leaf': 20,
    'bagging_freq': 1,
    'bagging_fraction': 0.8,
    'feature_fraction': 0.8,
    'metric': 'multi_error',
    'early_stopping_rounds': 400,
}

然后我们进行LightGBM实现与交叉验证(CV)实现：

def lgb_cv(params, train_df, test_df, feat_cols, cat_feat_cols, target_col, stratified=False, nfold=5, num_boost_round=10000):
    if stratified:
        folds = StratifiedKFold(n_splits=nfold, shuffle=True, random_state=42)
    else:
        folds = KFold(n_splits=nfold, shuffle=True, random_state=42)
        
    target = train_df[target_col]

    oof = np.zeros((train_df.shape[0], 3), dtype=np.float64)
    pred = np.zeros((test_df.shape[0], 3), dtype=np.float64)

    for i, (trn_idx, val_idx) in enumerate(folds.split(train_df.index, train_df[target_col].astype(int))):
        print(f'fold={i}', '- ' * 20)
        trn_data = lgb.Dataset(train_df.loc[trn_idx, feat_cols], label=target.loc[trn_idx], categorical_feature=cat_feat_cols)
        val_data = lgb.Dataset(train_df.loc[val_idx, feat_cols], label=target.loc[val_idx], categorical_feature=cat_feat_cols)
    
        model = lgb.train(params, trn_data, num_boost_round, valid_sets=val_data, callbacks=[lgb.log_evaluation(200)])
    
        oof[val_idx] = model.predict(train_df.loc[val_idx, feat_cols], num_iteration=model.best_iteration)
        pred += model.predict(test_df[feat_cols], num_iteration=model.best_iteration) / nfold

    cv = accuracy_score(target, oof.argmax(axis=-1))
    return cv, oof, pred

这个定义了一个可以实现LightGBM并得到，cv 是交叉验证的准确度得分，oof 是训练集样本的交叉验证预测结果，而 pred 是测试集样本的交叉验证预测结果。这些变量都是评估模型性能的重要指标。

cv, oof, pred = lgb_cv(params, train_df, test_df, ori_all_feats, ori_cat_feats, 'Target')
print(cv)
simple_cv, simple_oof, simple_pred = cv, oof, pred

然后我们可以得到交叉验证的准确度得分(cv值)为0.8337123291251731，cv是衡量评估模型性能的最重要的指标。

3：XGBoost模型建立与交叉验证(CV)

我们使用和LightGBM实现相同的步骤：

params = {
    # general parameters
    'nthread': 32,
    'objective': 'multi:softprob',
    'num_class': 3,
    'eval_metric': 'merror',
    # tuning parameters
    'learning_rate': 0.1259,
    'max_depth': 3,
    'min_child_weight': 85,
    'subsample': 0.987,
    'colsample_bytree': 0.5448,
    'reg_lambda': 7.138,
}

def xgb_cv(params, train_df, test_df, feat_cols, cat_feat_cols, target_col, stratified=False, nfold=5, num_boost_round=10000):
    if stratified:
        folds = StratifiedKFold(n_splits=nfold, shuffle=True, random_state=42)
    else:
        folds = KFold(n_splits=nfold, shuffle=True, random_state=42)
        
    target = train_df[target_col]

    oof = np.zeros((train_df.shape[0], 3), dtype=np.float64)
    pred = np.zeros((test_df.shape[0], 3), dtype=np.float64)

    for i, (trn_idx, val_idx) in enumerate(folds.split(train_df.index, train_df[target_col].astype(int))):
        print(f'fold={i}', '- ' * 20)
        trn_data = xgb.DMatrix(train_df.loc[trn_idx, feat_cols], label=target.loc[trn_idx], enable_categorical=True)
        val_data = xgb.DMatrix(train_df.loc[val_idx, feat_cols], label=target.loc[val_idx], enable_categorical=True)

        model = xgb.train(params, trn_data, num_boost_round, evals=[(trn_data, 'train'), (val_data, 'valid')], verbose_eval=200, early_stopping_rounds=400)
        
        oof[val_idx] = model.predict(val_data, iteration_range=(0, model.best_iteration + 1))
        
        tst_data = xgb.DMatrix(test_df[feat_cols], enable_categorical=True)
        pred += model.predict(tst_data, iteration_range=(0, model.best_iteration + 1)) / nfold

    cv = accuracy_score(target, oof.argmax(axis=-1))
    return cv, oof, pred

xgb_bo_cv, xgb_bo_oof, xgb_bo_pred = xgb_cv(params, fe_train_df, fe_test_df, null_imp_selected_feats, [], 'Target')

print(xgb_bo_cv)

最后得到XGBoost模型的cv值为0.8349407982435505

4：模型集成

这里的模型集成就是把我们之前得到的LightGBM和XGBoostt模型结合起来。模型集成有许多种方法，这里我们采用其中的一种：stacking，即每个模型预测的结果oof作为输 入，label作为目标，训练一个次级学习器，一般次级学习器会选一些简单的线性模型。

from sklearn.svm import SVC
svc = SVC()
trn_x = np.hstack([simple_oof, xgb_bo_oof])
tst_x = np.hstack([simple_pred,  xgb_bo_pred])
svc.fit(trn_x, train_df['Target'])
stacking_pred = svc.predict(tst_x)

然后我们可以按提交格式上传我们的预测结果：

sub_df = pd.read_csv('../input/sample_submission.csv')
pred = stacking_pred
sub_df['Target'] = pred
sub_df['Target'] = sub_df['Target'].map(code2label)
sub_df.to_csv('prob_stacking.csv', index=False, header=True)

这些步骤就是表格类数据的机器学习的经典做法。

5：模型提升

通过上述答案得到的结果已经是较为不错的答案。如果还想进一步探索和提高，可以在特征工程和调参方面采用一些高阶方法。

 

想要探索更多元化的数据分析视角，可以关注之前发布的相关内容。

EDFF
关注
专栏目录
一文搞定机器学习中的“模型可解释性”
风口IT猪的成长录
04-25 164
机器学习是最近许多科技进步的核心。随着计算机在围棋等游戏中击败专业人士，许多人开始询问，机器是否也能成为更好的司机，甚至更好的医生。如果⼀个机器学习模型运⾏良好，为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢？诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时，需要作出权衡：**你是只想知道预测是什么？**例如，客户流失的概率或某种药物对病⼈的疗效。**还是想知道为什么做出这样的预测？**这种情况下可能为了可解释性付出预测性能下降的代价。
Python 数据分析竞赛实战：收集、整理、分析竞赛数据，为比赛提供数据支持，并用Python代码展示分析结果
程序员光剑
08-04 1647
16年，机器学习、深度学习爆炸式增长，无论是作为一种新兴技术还是技术的普及，数据科学的重要性都在逐渐上升。2019 年，中国大学生机器学习大赛评测协会（ACM）发布了“2019 大数据与人工智能专业人才创新训练计划”（Data and AI Skills Development Training for College Students），旨在鼓励青年学生进行科研和项目开发，提高青年人对数据科学技术的认识和能力。
GBDT实例：根据年龄体重预测身高
bb8886的博客
04-18 873
参数设置：学习率：learning_rate=0.1，迭代次数：n_tree=5，树的深度：max_depth=2（max_depth=3的计算方式一样）。步骤四：更新学习器（f_1 = f_0+0.1*γ）并计算构建残差（res2 = res1-0.1*γ）作为标签值训练第二棵树。从年龄特征的5开始，到体重特征的70结束，分别计算分裂后两组数据的平方损失，左节点平方损失为。由上面最后一个表格，根据测试数据age=25，weight=65，找到id为2对应的f_5值，为1.5876。
通过sklearn机器学习库来实现传统分类算法的案例解析
eeee~~的博客
08-18 1213
通过sklearn机器学习库来实现传统分类算法，比如K近邻算法，朴素贝叶斯算法，决策树算法，逻辑回归算法，支持向量机算法。
机器学习入门基础（万字总结）（建议收藏！！！）
热门推荐
subsistent的博客
12-04 4万+
机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本文章涵盖了机器学习的基础知识，主要包括机器学习的概述、 回归、分类、聚类、神经网络、文本分析、图像分析、深度学习等经典的机器学习基础知识，还包括深度学习入门等拔高内容。介绍机器学习的基础概念和知识，包括机器学习简史、主要流派、与人工智能、数据挖掘的关系、应用领域、算法、一般流程等。伴随着计算机计算能力的不断提升以及大数据时代的迅发展人工智能也取得了前所未有的进步。
机器学习项目实战：从零开始打造成功案例的详细解析
[机器学习项目实战：从零开始打造成功案例的详细解析](http://www.uml.org.cn/RequirementProject/images/2018092631.webp.jpg) # 1. 机器学习项目实战导论 机器学习项目是一个从问题识别到模型部署的全周期过程。...
Kaggle竞赛入门教程案例
JR_Smith1的博客
10-16 3924
Kaggle入门新手教程（房价预测案例）Kaggle房价预测竞赛链接与背景介绍竞赛代码解析导入工具包数据加载数据预处理异常值初筛插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Kaggle房价预测 对于刚刚入门机器学习的童孩来说，如何快速地通过不同实战演练以提高代码能力和流程理解是一个需要
医疗数据分析新视界：决策树算法应用与案例全解析
![医疗数据分析新视界：决策树算法应用与案例全解析](https://img-blog.csdnimg.cn/img_convert/0ae3c195e46617040f9961f601f3fa20.png) # 1. 决策树算法概述 ## 决策树简介 ...随着机器学习技术的不
【机器学习(三)】分类和回归任务-随机森林-Sentosa_DSML社区版
qq_45586013的博客
09-11 1467
随机森林算法解决分类和回归问题
机器学习--卷积神经网络（包括python实现）
ID246783的博客
09-13 936
首先我们要知道channel是什么意思，。我们来举个例子，在计算机视觉中，如果一张图片是黑白的，那么每个像素点都是有一个信息也就是这个像素点的灰度。但是对于一张彩色图片来说，每个像素点都是由三个信息叠加而成的，也就是RBG三个颜色的“灰度”。于是我们对黑白照片操作变成矩阵的时候，我们就会直接将灰度拿来用，把它变成一个二维的矩阵。而对于彩色照片来说，我们就会建立一个高为3的三维张量来存储这个图片。这里的所谓“高度3”就是我们的channel。
车辆检测与分类系统源码分享
xuehaikj的博客
09-13 1402
数据集信息展示在本研究中，我们采用了名为“comexit”的数据集，以支持对YOLOv8模型在车辆检测与分类任务中的改进。该数据集专注于交通工具的识别，特别是公共交通和货运车辆，具有明确的应用背景和实用价值。数据集的类别数量为三，具体包括“bus”（公交车）、“car”（小汽车）和“truck”（卡车）。这三类车辆在城市交通和物流系统中扮演着重要角色，因此，准确的检测与分类对于交通管理、智能交通系统以及自动驾驶技术的发展具有重要意义。
人工智能和机器学习：探讨人工智能和机器学习的最新发展、应用、挑战和未来趋势
kelai_6792的博客
09-13 463
人工智能和机器学习的未来趋势主要包括以下几个方面：首先，深度学习和增强学习技术将继续发展，深度学习技术将更加广泛应用于视觉、语音、自然语言处理等领域；最后，人工智能和机器学习将更加注重与人类的协作和互动，以便更好地服务于人类社会的发展。同时，人工智能和机器学习在医疗、金融、物流等领域也得到了广泛的应用。总之，人工智能和机器学习技术的最新发展、应用、挑战和未来趋势是当前科技领域的热点话题，需要我们密切关注和探讨。人工智能和机器学习是当前科技领域的热点话题，其最新发展、应用、挑战和未来趋势备受关注。
机器学习（西瓜书）第 14 章 概率图模型
m0_51448653的博客
09-13 901
机器学习最重要的任务，是根据一些已观察到的证据（例如训练样本）来对感兴趣的未知变量（例如类别标记）进行估计和推测。概率模型（probabilistic model）提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测位置变量的分布称为“推断”（inference），其核心是如何基于可观测变量推测出未知变量的条件分布。具体来说，假定所关心的变量集合为Y，可观测变量集合为O，其他变量集合为R，
机器学习--AlexNet
最新发布
ID246783的博客
09-14 964
这个netnetnet其实就是比LeNetLeNetLeNet# 第一阶段# 第二阶段# 第三阶段# 第四阶段net.add(nn.Dropout(.5)) # 50% 的概率的丢掉 但期望不变# 第五阶段# 第六阶段net.add(nn.Dense(10)) # 真实的AlexNet是1000 但是我们这里还是用的mnist 所以就是10print(net)我们可以看看打印出来的netnetnet然后我把LeNetLeNetLe。
机器学习（西瓜书）第 10 章 降维与度量学习
m0_51448653的博客
09-13 776
k 近邻(k-Nearest Neighbor,简称kNN)学习是一种常用的监督学习方法,其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个 “邻居”的信息来进行预测.通常，在任务中可使用“”，即选择这k个样本中出现最多的类别标记作为预测结果；在任务中可使用“”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大.与前面介绍的学习方法相比，k近邻学习有一个明显的不同之处：它似乎。
机器学习和深度学习的区别
不会代码的小林
09-11 767
综上所述，机器学习和深度学习在定义与起源、模型复杂度、数据需求、计算资源需求、特征学习能力以及应用范围与场景等方面都存在显著的区别。深度学习：则通常使用多层的神经网络模型，如卷积神经网络（CNN）、递归神经网络（RNN）等，这些模型复杂度高，包含大量的参数，能够处理更加复杂和抽象的问题。机器学习：常用的模型包括线性回归、支持向量机、随机森林等，这些模型相对简单，参数较少，适合处理较为简单的问题。深度学习：需要大量的标记数据来训练复杂的模型，以避免过拟合等问题，对数据的量和质都有较高的要求。
[机器学习]聚类算法
Letmooning的博客
09-13 681
【代码】[机器学习]聚类算法。
机器学习与统计判别法：提升时序数据异常监控效率
在AICon2018大会上，刘彪作为一名高级工程师，分享了腾讯如何利用机器学习技术对时序类数据进行异常智能监控。时序类数据通常是指随时间变化的数据序列，如服务器性能指标、网络流量、用户行为数据等。腾讯的监控...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值