彻底理解XGBoost，通俗易懂，跟着视频学习，代码实现

置顶 已于 2024-04-23 11:10:28 修改
阅读量659 收藏 3
点赞数 1
分类专栏： 机器学习 XGBoost 文章标签： 机器学习 XGBoost
于 2021-07-02 12:16:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/frx_bwcx/article/details/118409970
版权

目录

学习视频

读取数据并查看基本信息

数据来源：https://github.com/ibm/telco-customer-churn-on-icp4d
已上传至资源

import pandas as pd # 读取数据
df = pd.read_csv('Telco-Customer-Churn.csv')
df.head()
customerIDgenderSeniorCitizenPartnerDependentstenurePhoneServiceMultipleLinesInternetServiceOnlineSecurity...DeviceProtectionTechSupportStreamingTVStreamingMoviesContractPaperlessBillingPaymentMethodMonthlyChargesTotalChargesChurn
07590-VHVEGFemale0YesNo1NoNo phone serviceDSLNo...NoNoNoNoMonth-to-monthYesElectronic check29.8529.85No
15575-GNVDEMale0NoNo34YesNoDSLYes...YesNoNoNoOne yearNoMailed check56.951889.5No
23668-QPYBKMale0NoNo2YesNoDSLYes...NoNoNoNoMonth-to-monthYesMailed check53.85108.15Yes
37795-CFOCWMale0NoNo45NoNo phone serviceDSLYes...YesYesNoNoOne yearNoBank transfer (automatic)42.301840.75No
49237-HQITUFemale0NoNo2YesNoFiber opticNo...NoNoNoNoMonth-to-monthYesElectronic check70.70151.65Yes

5 rows × 21 columns

df.shape

(7043, 21)

df.dtypes

customerID           object
gender               object
SeniorCitizen         int64
Partner              object
Dependents           object
tenure                int64
PhoneService         object
MultipleLines        object
InternetService      object
OnlineSecurity       object
OnlineBackup         object
DeviceProtection     object
TechSupport          object
StreamingTV          object
StreamingMovies      object
Contract             object
PaperlessBilling     object
PaymentMethod        object
MonthlyCharges      float64
TotalCharges         object
Churn                object
dtype: object

# 删除customerID
del df['customerID']

缺失值处理

# TotalCharge 转换成数值类型
# df['TotalCharges'] = pd.to_numeric(df['TotalCharges'])
# error: Unable to parse string " " at position 488
# 含有缺失值

# 查看缺失值
miss_data = df.loc[df['TotalCharges']==' '] # *.loc[row,col]   label
len(miss_data)

11

# 用 0 补全缺失值
df.loc[(df['TotalCharges']==' '), 'TotalCharges'] = 0

df['TotalCharges'] = pd.to_numeric(df['TotalCharges'])

df.dtypes

gender               object
SeniorCitizen         int64
Partner              object
Dependents           object
tenure                int64
PhoneService         object
MultipleLines        object
InternetService      object
OnlineSecurity       object
OnlineBackup         object
DeviceProtection     object
TechSupport          object
StreamingTV          object
StreamingMovies      object
Contract             object
PaperlessBilling     object
PaymentMethod        object
MonthlyCharges      float64
TotalCharges        float64
Churn                object
dtype: object

将标签转换成数值型

# 将标签转换成 0 和 1
df.loc[(df['Churn']=='No'), 'Churn'] = 0
df.loc[(df['Churn']=='Yes'), 'Churn'] = 1

df['Churn'] = pd.to_numeric(df['Churn'])

df.dtypes

gender               object
SeniorCitizen         int64
Partner              object
Dependents           object
tenure                int64
PhoneService         object
MultipleLines        object
InternetService      object
OnlineSecurity       object
OnlineBackup         object
DeviceProtection     object
TechSupport          object
StreamingTV          object
StreamingMovies      object
Contract             object
PaperlessBilling     object
PaymentMethod        object
MonthlyCharges      float64
TotalCharges        float64
Churn                 int64
dtype: object

将数据和标签分开

X = df.drop('Churn', axis=1).copy() # axis=1 删除列，默认删除行
y = df['Churn'].copy()

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all" 
# 打印所有的交互式输出

X.shape
y.shape

(7043, 19)
(7043,)

用one-hot编码将object类型转换成int

检查一下xgboost支持的数据类型

X_encoded = pd.get_dummies(X, columns=['gender',
                                      'Partner',
                                      'Dependents',
                                      'PhoneService',
                                      'MultipleLines',
                                      'InternetService',
                                      'OnlineSecurity',
                                      'OnlineBackup',
                                      'DeviceProtection',
                                      'TechSupport',
                                      'StreamingTV',
                                      'StreamingMovies',
                                      'Contract',
                                      'PaperlessBilling',
                                      'PaymentMethod'])

X_encoded.shape
X_encoded.dtypes
X_encoded.head()

(7043, 45)

SeniorCitizen                                int64
tenure                                       int64
MonthlyCharges                             float64
TotalCharges                               float64
gender_Female                                uint8
gender_Male                                  uint8
Partner_No                                   uint8
Partner_Yes                                  uint8
Dependents_No                                uint8
Dependents_Yes                               uint8
PhoneService_No                              uint8
PhoneService_Yes                             uint8
MultipleLines_No                             uint8
MultipleLines_No phone service               uint8
MultipleLines_Yes                            uint8
InternetService_DSL                          uint8
InternetService_Fiber optic                  uint8
InternetService_No                           uint8
OnlineSecurity_No                            uint8
OnlineSecurity_No internet service           uint8
OnlineSecurity_Yes                           uint8
OnlineBackup_No                              uint8
OnlineBackup_No internet service             uint8
OnlineBackup_Yes                             uint8
DeviceProtection_No                          uint8
DeviceProtection_No internet service         uint8
DeviceProtection_Yes                         uint8
TechSupport_No                               uint8
TechSupport_No internet service              uint8
TechSupport_Yes                              uint8
StreamingTV_No                               uint8
StreamingTV_No internet service              uint8
StreamingTV_Yes                              uint8
StreamingMovies_No                           uint8
StreamingMovies_No internet service          uint8
StreamingMovies_Yes                          uint8
Contract_Month-to-month                      uint8
Contract_One year                            uint8
Contract_Two year                            uint8
PaperlessBilling_No                          uint8
PaperlessBilling_Yes                         uint8
PaymentMethod_Bank transfer (automatic)      uint8
PaymentMethod_Credit card (automatic)        uint8
PaymentMethod_Electronic check               uint8
PaymentMethod_Mailed check                   uint8
dtype: object
SeniorCitizentenureMonthlyChargesTotalChargesgender_Femalegender_MalePartner_NoPartner_YesDependents_NoDependents_Yes...StreamingMovies_YesContract_Month-to-monthContract_One yearContract_Two yearPaperlessBilling_NoPaperlessBilling_YesPaymentMethod_Bank transfer (automatic)PaymentMethod_Credit card (automatic)PaymentMethod_Electronic checkPaymentMethod_Mailed check
00129.8529.85100110...0100010010
103456.951889.50011010...0010100001
20253.85108.15011010...0100010001
304542.301840.75011010...0010101000
40270.70151.65101010...0100010010

5 rows × 45 columns

划分训练集和测试集

sum(y)/len(y) 

0.2653698707936959

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X_encoded, y, random_state=40, stratify=y)
# stratify = y 按照y的比例划分，即训练集和测试集的不平衡率相同

# 验证比例是否相同
sum(y_train)/len(y_train)
sum(y_test)/len(y_test)

0.2654297614539947
0.26519023282226006

用XGBoost 训练

import xgboost as xgb

xgb_clf = xgb.XGBClassifier(use_label_encoder=False, seed=40)
xgb_clf.fit(X_train,
           y_train,
           verbose=1,
           early_stopping_rounds=10,
           eval_set=[(X_test, y_test)])

[11:50:18] WARNING: ..\src\learner.cc:1095: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
[0]	validation_0-logloss:0.58053
[1]	validation_0-logloss:0.51903
[2]	validation_0-logloss:0.48186
[3]	validation_0-logloss:0.45798
[4]	validation_0-logloss:0.44383
[5]	validation_0-logloss:0.43397
[6]	validation_0-logloss:0.42840
[7]	validation_0-logloss:0.42540
[8]	validation_0-logloss:0.42333
[9]	validation_0-logloss:0.42243
[10]	validation_0-logloss:0.42135
[11]	validation_0-logloss:0.42205
[12]	validation_0-logloss:0.42202
[13]	validation_0-logloss:0.42304
[14]	validation_0-logloss:0.42223
[15]	validation_0-logloss:0.42301
[16]	validation_0-logloss:0.42425
[17]	validation_0-logloss:0.42480
[18]	validation_0-logloss:0.42576
[19]	validation_0-logloss:0.42654

XGBClassifier(base_score=0.5, booster='gbtree', colsample_bylevel=1,
              colsample_bynode=1, colsample_bytree=1, gamma=0, gpu_id=-1,
              importance_type='gain', interaction_constraints='',
              learning_rate=0.300000012, max_delta_step=0, max_depth=6,
              min_child_weight=1, missing=nan, monotone_constraints='()',
              n_estimators=100, n_jobs=4, num_parallel_tree=1, random_state=40,
              reg_alpha=0, reg_lambda=1, scale_pos_weight=1, seed=40,
              subsample=1, tree_method='exact', use_label_encoder=False,
              validate_parameters=1, verbosity=None)

画混淆矩阵

from sklearn.metrics import confusion_matrix
from sklearn.metrics import plot_confusion_matrix

plot_confusion_matrix(xgb_clf, X_test, y_test)

D:\Anaconda\lib\site-packages\xgboost\data.py:112: UserWarning: Use subset (sliced data) of np.ndarray is not recommended because it will generate extra copies and increase memory consumption
  warnings.warn(

<sklearn.metrics._plot.confusion_matrix.ConfusionMatrixDisplay at 0xb1ef790>

在这里插入图片描述

交叉验证 和 网格搜索 优化XGBoost

from sklearn.model_selection import GridSearchCV

# 网格搜索的参数
param_grid = {'max_depth': [4],
             'learning_rate': [0.1, 0.5, 1],
             'gamma': [0.25],
             'reg_lambda': [10.0, 20, 100],
             'scale_pos_weigth': [3]}
optimal_param = GridSearchCV(estimator=xgb.XGBClassifier(use_label_encoder=False,
                                                        verbose=0,
                                                        seed=40,
                                                        subsample=0.9,
                                                        colsample_bytree=0.5),# 使用90%的数据，50%的特征，加快速度
                             param_grid=param_grid,
                             cv=3
                            )
optimal_param.fit(X_train,
                 y_train,
                 verbose=0,
                 eval_metric='auc',
                 eval_set=[(X_test, y_test)])
print(optimal_param.best_params_)

GridSearchCV(cv=3,
             estimator=XGBClassifier(base_score=None, booster=None,
                                     colsample_bylevel=None,
                                     colsample_bynode=None,
                                     colsample_bytree=0.5, gamma=None,
                                     gpu_id=None, importance_type='gain',
                                     interaction_constraints=None,
                                     learning_rate=None, max_delta_step=None,
                                     max_depth=None, min_child_weight=None,
                                     missing=nan, monotone_constraints=None,
                                     n_estimators=100, n_jobs=None,
                                     num_parallel_tree=None, random_state=None,
                                     reg_alpha=None, reg_lambda=None,
                                     scale_pos_weight=None, seed=40,
                                     subsample=0.9, tree_method=None,
                                     use_label_encoder=False,
                                     validate_parameters=None, verbose=0,
                                     verbosity=None),
             param_grid={'gamma': [0.25], 'learning_rate': [0.1, 0.5, 1],
                         'max_depth': [4], 'reg_lambda': [10.0, 20, 100],
                         'scale_pos_weigth': [3]})



{'gamma': 0.25, 'learning_rate': 0.1, 'max_depth': 4, 'reg_lambda': 100, 'scale_pos_weigth': 3}

用最优参数重新构建XGBoost

xgb_clf_optimal = xgb.XGBClassifier(use_label_encoder=False,
                                   gamma=0.25,
                                   learning_rate=0.1,
                                   max_depth=4,
                                   reg_lambda=100,
                                   scale_pos_weigth=3,
                                   seed=40,
                                   subsample=0.9,
                                   colsample_bytree=0.5,
                                   verbose=0)
xgb_clf_optimal.fit(X_train,
                   y_train,
                   verbose=0,
                   eval_metric='aucpr',
                   eval_set=[(X_test, y_test)])

XGBClassifier(base_score=0.5, booster='gbtree', colsample_bylevel=1,
              colsample_bynode=1, colsample_bytree=0.5, gamma=0.25, gpu_id=-1,
              importance_type='gain', interaction_constraints='',
              learning_rate=0.1, max_delta_step=0, max_depth=4,
              min_child_weight=1, missing=nan, monotone_constraints='()',
              n_estimators=100, n_jobs=4, num_parallel_tree=1, random_state=40,
              reg_alpha=0, reg_lambda=100, scale_pos_weight=1,
              scale_pos_weigth=3, seed=40, subsample=0.9, tree_method='exact',
              use_label_encoder=False, validate_parameters=1, verbose=0,
              verbosity=None)

# 混淆矩阵
plot_confusion_matrix(xgb_clf_optimal, X_test, y_test)

<sklearn.metrics._plot.confusion_matrix.ConfusionMatrixDisplay at 0xc08eaf0>

在这里插入图片描述

#bst = xgb_clf_optimal.get_booster()
#for importance_type in ('weight', 'gain', 'cover', 'total_gain', 'total_cover'):
#    print('%s:' % importance_type, bst.get_score(importance_type=importance_type))

xgb.to_graphviz(xgb_clf_optimal, num_trees=0, size="10,10") # 第一颗树模型

在这里插入图片描述

参考资料

热爱生活的菇凉
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
通俗易通理解XGBoost算法
02-02
一篇不错的博文能通俗易通理解XGBoost算法。 有公式推导，有例子说明，相当不错，推荐一下给大家。
Starting in XGBoost 1.3.0, the default evaluation metric used with the objective ‘binary:logistic’
WGS.
05-17 1万+
警告如下： Starting in XGBoost 1.3.0, the default evaluation metric used with the objective ‘binary:logistic’ was changed from ‘error’ to ‘logloss’. Explicitly set eval_metric if you’d like to restore the old behavior. 方法一： # 指定eval_metric xgb = xgboost.XGBCla
xgboost 用法讲解
stranger_man的博客
12-09 8443
import xgboost/home/yanghua/anaconda2/lib/python2.7/site-packages/sklearn/cross_validation.py:41: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module i
一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战
最新发布
2401_84166376的博客
04-28 1039
集成模型Boosting补完计划第三期了，之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架，余下几种Boosting算法都是在前者的算法之上改良得到，尤其是以GBDT算法为基础改进衍生出的三种Boosting算法：XGBoost、LightGBM、CatBoost。
忽略Xgboost的Warning
梦船水萍
01-21 2706
[15:32:12] WARNING: C:/Users/Administrator/workspace/xgboost-win64_release_1.4.0/src/learner.cc:1095: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective ‘binary:logistic’ was changed from ‘error’ to ‘logloss’. Explicitly set .
xgboost报错解决方案
weixin_45425341的博客
04-20 6889
问题 anaconda使用xgboost1.3.3包产生如下报错信息： Starting in XGBoost 1.3.0, the default evaluation metric used with the objective ‘binary:logistic’ was changed from ‘error’ to ‘logloss’. Explicitly set eval_metric if you’d like to restore the old behavior. 解决方案 更换xgb
Python降低XGBoost 过度拟合多种方法
fulk6667g78o8的专栏
08-27 2718
在公众号「python风控模型」里回复关键字：学习资料，免费领取资料。 python风控模型 持牌照金融公司模型专家，教学主页 https://ke.qq.com/teacher/231469242?tuin=dcbf0
通俗易懂的PID算法理解
01-24
通俗易懂的PID算法理解，通俗易懂的PID算法理解，通俗易懂的PID算法理解
Java零基础学习视频通俗易懂
07-07
视频教程“Java零基础学习视频通俗易懂”很可能涵盖了以上这些主题，并以易于理解的方式进行讲解。通过这个教程，新手可以系统地学习Java编程，为后续的进阶学习打下坚实的基础。同时，阅读提供的"Java零基础学习...
通俗易懂的随机森林模型讲解
02-20
但绝大多数大神讲解都是注重于理论，把算数的地方都给忽略了，我这次要以举例子的方法来讲解，这样可以让大家更好的理解随机森林模型。首先我们来定义一下随机森林，啥叫随机森林呢，森林指的是有一堆大树的地方，...
快速排序的实现代码（通俗易懂）
04-15
精炼的快速排序实现代码，简洁明了，语言是C，主函数可以随意调试更改。注：快速排序的优化方式多种多样，并不局限于此，如有好的改进方法欢迎交流。
xgboost 算法参数解释
mike_jun的博客
10-05 2684
xgboost 算法 目前集成学习方法大致可分为两大类： 第一类是个体学习器之间存在强依赖关系、必须串行生成的序列化方法，这种方法的代表是“Boosting”； 第二类是个体学习器间不存在强依赖关系、可同时生成的并行化方法，它的代表是“Bagging”和“RandomForest” boosting：提升方法是一个迭代的过程，通过改变样本分布，使得分类器聚集在那些很难分的样本上...
XGBoost案例代码（一）——sklearn之交叉验证
lusic01的专栏
11-29 2487
XGBoost案例代码（一）——sklearn之交叉验证 2018年01月11日 11:07:44 data_evangelists 阅读数：2019 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/data_scientist/article/details/79031858 #!/usr/bin/python ''' Created o...
XGboost的整理
weixin_42209537的博客
03-05 528
评估指标，用于在训练过程中对模型的表现进行评估，‘rmse’ 表示均方根误差（Root Mean Squared Error），它是回归问题中常用的性能指标。树的最大深度，增加这个值可以使模型更加复杂，并提高队训练数据的拟合程度，但可能会导致过拟合。n_estimators：森林中树的数量，值越大，模型越复杂，训练时间也会相应增加。较大值会导致模型更保守，可能会导致模型的过拟合。较小的值可以减少过拟合，提高模型的泛化能力。L1正则化项的权重，增加这个值同样也可以增加模型的正则化强度。
xgboost参数-调参
热门推荐
Vulpes corsac
09-27 2万+
目录 一、xgboost 原生接口 重要参数 训练参数 预测函数 绘制特征重要性 回归例子 二、xgboost 的 sklearn 风格接口 XGBClassifier基本使用 XGBRegressor基本使用 三、xgboost 调参思路 四、参考文章 xgboost 包含原生接口和 sklearn 风格接口两种，并且二者都实现了分类和回归的功能。如果想了解一些理论性的内容，可以看看之前的文章： XGBoost算法的相关知识 一、xgboost 原生接口 重要参数 ...
【Python机器学习系列】建立XGBoost模型预测心脏疾病（完整实现过程）
数据杂坛
01-30 1499
建立XGBoost模型预测心脏疾病（完整实现过程）
python xgboost用法_XGBoost类库使用小结
weixin_42467411的博客
01-14 1339
在XGBoost算法原理小结中，我们讨论了XGBoost的算法原理，这一片我们讨论如何使用XGBoost的Python类库，以及一些重要参数的意义和调参思路。1. XGBoost类库概述XGBoost除了支持Python外，也支持R，Java等语言。本文关注于Python的XGBoost类库，安装使用"pip install xgboost"即可，目前使用的是XGBoost的0.90版本。XGBo...
TensorFlow训练报错
r081r096的博客
02-10 80
python训练报错
xgb lgb 自定义评价函数差别
snailpeople的博客
04-23 5347
关于xgb lgb自定义评价函数，其实是区别的， 但步骤都是一样的 XGB: #自定义评价函数---适用于XGBClassifier #preds是预测结果概率-但是需要转换成label #dtrain是xgb的矩阵，使用get_label() 可获取到真实的label def get_f1 (preds,dtrain): label=dtrain.get_label() pred...
"通俗易懂的TypeScript学习教程及面试题解析
这套教程以人类认知的角度思考问题，通过通俗易懂的例子和图片来帮助学习者建立TypeScript的世界观。教程的系列安排包括：从上帝视角看TypeScript、深入理解TypeScript的类型系统、详解types和@types的概念、揭秘...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值