XGBoost多分类模型实例（结合SHAP解释）

最新推荐文章于 2024-05-15 16:10:33 发布
最新推荐文章于 2024-05-15 16:10:33 发布
阅读量1w 收藏 163
点赞数 19
分类专栏： Python 文章标签： 机器学习 数据分析 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45520028/article/details/109003707
版权

引言

本文为实例，相关方法性说明参考：
https://blog.csdn.net/weixin_45520028/article/details/108977748

环境：Python 3.7
平台：jupyter

import pandas as pd
import numpy as np
import matplotlib as plt
from pylab import mpl
import xgboost as xgb
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.preprocessing import LabelEncoder
from sklearn import metrics
import shap
import warnings

warnings.filterwarnings("ignore")
pd.set_option('max_column', 40)
plt.rcParams['font.sans-serif'] = ['Arial Unicode MS']  # 支持中文显示

# notebook环境下，加载用于可视化的JS代码
shap.initjs()

# 读取数据================================================================
df1 = pd.read_csv("./data_v4_null_0.csv", encoding='gbk')
df2 = pd.read_csv("./data_v4_null_1.csv", encoding='gbk')
df3 = pd.read_csv("./data_v4_null_2.csv", encoding='gbk')
frames = [df1, df2, df3]
data = pd.concat([df1, df2, df3], ignore_index=True, axis=0)

# 数据清洗================================================================

# 'pinche_poten'，字段都为空，不可用
data.drop(['pinche_poten'], axis=1, inplace=True)
# 剔除距离超1000km的一个点
data = data[data['distance'] < 1000]
# 剔除部分字段为NaN的部分行
data = data.dropna(subset=['sub_sens', 'ord_sub_sens', 'life_stage'])

# 删除特定的行，即th_type=NaN
data = data.dropna(subset=['th_type'])
data = data.fillna(0)
data = data.reset_index(drop=True)

# XGBoost要求输入为数值型，先进行数据转换====================================
data_deal = data[['sub_sens', 'ord_sub_sens', 'life_stage', 'scene_l1', 'time_interval']]
# 先转为str格式
data_deal['sub_sens'] = data_deal['sub_sens'].astype(str)
data_deal['ord_sub_sens'] = data_deal['ord_sub_sens'].astype(str)
data_deal['life_stage'] = data_deal['life_stage'].astype(str)
data_deal['scene_l1'] = data_deal['scene_l1'].astype(str)
data_deal['time_interval'] = data_deal['time_interval'].astype(str)

# 字符转换为数值
features = []
feature_tables = []
for i in range(0, data_deal.shape[1]):
    label_encoder = LabelEncoder()
    feature = label_encoder.fit_transform(data_deal.iloc[:, i])
    feature_table = label_encoder.inverse_transform(feature)
    features.append(feature)
    feature_tables.append(feature)
    feature_tables.append(feature_table)
# 反转label_encoder.inverse_transform(feature)
data_deal2 = np.array(features)
data_deal2 = data_deal2.reshape(data_deal.shape[0], data_deal.shape[1])
data_deal3 = pd.DataFrame(data_deal2)

# 特征对应表
feature_tables = pd.DataFrame(np.array(feature_tables)).T

# 查看各字段的统计值
feature_tables.iloc[:, 1].value_counts()
feature_tables.iloc[:, 3].value_counts()
feature_tables.iloc[:, 5].value_counts()
feature_tables.iloc[:, 7].value_counts()
feature_tables.iloc[:, 9].value_counts()

# sub_sens对应表
fea_sub_sens = feature_tables.iloc[:,:2].drop_duplicates().reset_index(drop=True).sort_values(by=1)
# ord_sub_sens对应表
fea_ord_sub_sens = feature_tables.iloc[:,2:4].drop_duplicates().reset_index(drop=True).sort_values(by=3)
# life_stage对应表
fea_life_stage = feature_tables.iloc[:,4:6].drop_duplicates().reset_index(drop=True).sort_values(by=5)
# scene对应表
fea_scene = feature_tables.iloc[:,6:8].drop_duplicates().reset_index(drop=True).sort_values(by=7)
# interval对应表
fea_interval = feature_tables.iloc[:,8:10].drop_duplicates().reset_index(drop=True).sort_values(by=9)

# data返回替换'sub_sens', 'ord_sub_sens', 'life_stage', 'scene_l1', 'time_interval'
data['sub_sens'] = data_deal3.iloc[:, 0]
data['ord_sub_sens'] = data_deal3.iloc[:, 1]
data['life_stage'] = data_deal3.iloc[:, 2]
data['scene_l1'] = data_deal3.iloc[:, 3]
data['time_interval'] = data_deal3.iloc[:, 4]

# 不同类型的输出结果抽取同数量组数===============================================
data_s1 = data[data['th_type'] == 1].sample(n=650000, random_state=1)
data_s2 = data[data['th_type'] == 2].sample(n=650000, random_state=1)
data_s0 = data[data['th_type'] == 0].sample(n=650000, random_state=1)
# 拼接新的数据集
data = pd.concat([data_s1, data_s2, data_s0], ignore_index=True, axis=0)

# 添加一列随机数，为了校验因子准确性（重要性排序在随机数后面的可以忽略）
data['随机数'] = np.random.randint(0, 4, size = len(data))

# 查看data
data
# 图1

# XGBoost建模数据准备=====================================================
# 最后一列为输出结果
data_result = data.iloc[:, 27]
# 第1-27为特征值
data_input = data.iloc[:, 1:27]

# 准备xgb训练集和测试集
train_x, test_x, train_y, test_y = train_test_split(data_input, data_result, test_size=0.01, random_state=1)

# 查看训练集和测试集的特征值形状
print(train_x.shape, test_x.shape)
# 查看训练集各类型选择的抽样数量
train_y.value_counts()


# xgb：多分类================================================================
dtrain = xgb.DMatrix(train_x, label=train_y)
dtest = xgb.DMatrix(test_x)

# 参数
# objective：多分类'multi:softmax'返回预测的类别，
params = {'booster': 'gbtree',
          'objective': 'multi:softmax', #多分类'multi:softmax'返回预测的类别(不是概率)，'multi:softprob'返回概率
          'num_class': 3,
          'eval_metric': 'merror', #二分类用’auc‘，多分类用'mlogloss'或'merror'
          'max_depth': 7,
          'lambda': 15,
          'subsample': 0.75,
          'colsample_bytree': 0.75,
          'min_child_weight': 1,
          'eta': 0.025,
          'seed': 0,
          'nthread': 8,
          'silent': 1,
          'gamma': 0.15,
          'learning_rate': 0.01}

watchlist = [(dtrain, 'train')]

# 建模与预测:NUM_BOOST_round迭代次数和数的个数一致
model = xgb.train(params, dtrain, num_boost_round=50, evals=watchlist)
ypred = model.predict(dtest)

# test_y为data抽样的索引，重置后便于与模型预测结果比较===============================
test_y = test_y.reset_index(drop=True)
# 手动计算准确率
cnt1 = 0
cnt2 = 0
for i in range(len(test_y)):
    if ypred[i] == test_y[i]:
        cnt1 += 1
    else:
        cnt2 += 1

print("Accuracy: %.2f %% " % (100 * cnt1 / (cnt1 + cnt2)))
# 输出为：
# Accuracy: 69.26 % 

# 混淆矩阵，对角线为正确，其他为误分类
metrics.confusion_matrix(test_y,ypred)
# 输出为：
# array([[4483,  963, 1153],
#        [ 694, 4863,  844],
#        [1004, 1336, 4160]])

# 模型结果解释==================================================================
xgb.plot_importance(model)
# 图2

# SHAP解释模型=================================================================
# 解决xgb中utf-8不能编码问题
# 新版save_raw()开头多4个字符'binf'
model_modify = model.save_raw()[4:]
def myfun(self=None):
    return model_modify

model.save_raw = myfun

# SHAP计算
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(train_x)

# 特征统计值
shap.summary_plot(shap_values, train_x)
# 图3

# SHAP值解释
shap.summary_plot(shap_values[1], train_x, max_display=15)
# 图4
shap.summary_plot(shap_values[2], train_x, max_display=15)
shap.summary_plot(shap_values[0], train_x, max_display=15)

# 训练集第1个样本对于输出结果为1的SHAP解释
shap.force_plot(explainer.expected_value[1], shap_values[1][1,:], train_x.iloc[1,:])
# 图5
# 统计图解释
cols = train_x.columns.tolist()
shap.bar_plot(shap_values[1][1,:],feature_names=cols)
# 图6


# 输出第1个样本的特征值和shap值
sample_explainer = pd.DataFrame()
sample_explainer['feature'] = cols
sample_explainer['feature_value'] = train_x[cols].iloc[1].values
sample_explainer['shap_value'] = shap_values[1]
sample_explainer
# 图7

# 单个特征'dangou_ratio'与模型预测结果的关系
shap.dependence_plot('dangou_ratio', shap_values[1], train_x[cols], display_features=train_x[cols],interaction_index=None)
# 图8

# 前1000个样本的shap累计解释，可选择坐标内容
shap.force_plot(explainer.expected_value[1], shap_values[1][:1000,:], train_x.iloc[:1000,:])
# 图9

代码中部分结果：
图1
在这里插入图片描述
图2
在这里插入图片描述
图3
在这里插入图片描述

图4
在这里插入图片描述

图5
在这里插入图片描述

图6
在这里插入图片描述
图7
在这里插入图片描述
图8
在这里插入图片描述

图9
在这里插入图片描述

hengheng21
关注
  • 19
    点赞
  • 踩
  • 163
    收藏
    觉得还不错? 一键收藏
  • 20
    评论
专栏目录
基于XGBoost和SHAP的急性肾损伤可解释预测模型.docx
02-23
基于XGBoost和SHAP的急性肾损伤可解释预测模型.docx
XGBoost算法案例与调参实例
probie的博客
04-26 2402
XGBoost 优化的分布式梯度增强库，旨在实现高效，灵活和便携。 在Gradient Boosting框架下实现机器学习算法。 提供了并行树提升（也称为GBDT，GBM），可以快速准确地解决许多数据科学问题。 相同的代码在主要的分布式环境（Hadoop，SGE，MPI）上运行，并且可以解决超过数十亿个样例的问题。 利用了核外计算并且能够使数据科学家在一个主机上处理数亿的样本数据。最终，将这些技术进行结合来做一个端到端的系统以最少的集群系统来扩展到更大的数据集上。 以CART决策树为子模型，通过Gradi
SHAP - 解释机器学习
最新发布
编码时光
05-15 1703
一、关于 SHAP 二、安装 三、树集成示例（XGBoost/LightGBM/CatBoost/scikit-learn/pyspark 模型） 四、自然语言示例（transformers） 五、使用 DeepExplainer 的深度学习示例（TensorFlow/Keras 模型） 六、使用 GradientExplainer 的深度学习示例（TensorFlow/Keras/PyTorch 模型） 七、使用 KernelExplainer 的模型不可知示例（解释任何函数） 八、SHAP 交互值 九、
一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战
2401_84586417的博客
05-11 1063
2014年：XGBoost由陈天奇在《XGBoost: A Scalable Tree Boosting System》一文中首次提出。2015年：XGBoost在Kaggle竞赛中大放异彩，成为数据科学家和机器学习工程师的首选算法之一。2016年：XGBoost发布了C++和Python两个版本，支持更多的特征工程和模型调优功能，极大地提高了算法的效率和可扩展性。2017年：XGBoost获得了KDD Cup 2017竞赛中的多个奖项，并且成为Spark MLlib中的重要组件。
XGBoost结合SHAP应用：回归、二分类、多分类模型
weixin_45520028的博客
10-09 9900
引言 XGBoost用于建模，SHAP用户模型的可视化解释。 XGBoost原理参考推荐： https://zhuanlan.zhihu.com/p/75217528 SHAP原理参考推荐： https://blog.csdn.net/weixin_45520028/article/details/108857908 XGBoost建模 1 数据准备 1 数据准备 2 数据处理 2 数据处理 3 XGB模型 3 XGB模型 4 模型评估 4 模型评估 XGBoost使用笔记 1 XGBoost模型参数解释
XGBoost R 教程 3：SHAPforxgboost
weixin_45851732的博客
11-09 777
而且，比较上图中的模型 B 和模型 A，模型 B 的输出实际上被修改了，它更多地依赖于给定的特征（Cough，输出分数增加了 10），所以 Cough 应该是一个更重要的特征。sina plots 使用每个观测值的每个特征的 SHAP 值显示特征对模型输出的贡献分布（在本例中为 CWV 测量误差的预测）。使用上面模型 A 的数据集作为一个简单的示例，哪个特征首先进入数据集会通过 Gain 生成相反的特征重要性：无论哪个特征较晚（在树中较低的位置）都会获得更多的信用。这为数据集中的每个观察提供了模型解释。
SHAP（五）：使用 XGBoost 进行人口普查收入分类
May the Force be with you
12-02 1388
本笔记本演示了如何使用 XGBoost 预测个人年收入超过 5 万美元的概率。它使用标准 UCI 成人收入数据集。要下载此笔记本的副本，请访问。XGBoost 等梯度增强机方法对于具有多种形式的表格样式输入数据的此类预测问题来说是最先进的。Tree SHAP（）允许精确计算树集成方法的 SHAP 值，并已直接集成到 C++ XGBoost 代码库中。这允许快速精确计算 SHAP 值，无需采样，也无需提供背景数据集（因为背景是从树木的覆盖范围推断出来的）。
使用CatBoost和SHAP进行多分类完整代码示例
deephub
07-16 4389
本文的示例展示了CatBoost的强大功能，它可以轻松创建一个良好的评分模型。但是更重要的是我们展示了SHAP在分析模型特征方面的强大功能。它允许我们从许多不同的角度来看特征，而不是我们可以用普通的EDA和相关性来探索。它确实名副其实的附加解释，可以通过模型进行预测建模，让我们深入了解特征本身。作者：lochie links。
XGBOOST算法Python实现（保姆级）
热门推荐
m0_61399808的博客
03-22 3万+
本文基于XGBOOST算法，从数据预处理、算法原理、算法实现、敏感性分析和算法应用都做了具体的分析，可适用于大部分机器学习算法初学者。
机器学习多分类问题小白入门
m0_52079970的博客
07-19 840
/在这里发现多分类是不支持pr曲线和roc曲线的绘制，报错提示只有二分类才可以，因此我们将多分类问题转化为几个二分类问题，分类别进行画图。'verbose'-1,#0显示信息。#[,i]切片取某一列的所有行，y_score[,i]第i个类的分类结果性能。plt.ylabel('Precision',fontsize=16)#x和y轴标签。print('准确率',accuracy_score(y_test,y_pred))...
Xgboost中特征重要性计算方法详解
bitcarmanlee的博客
04-11 7269
1.plot_importance方法 xgboost中的plot_importance方法内置了几种计算重要性的方式。 def plot_importance(booster, ax=None, height=0.2, xlim=None, ylim=None, title='Feature importance', xlabel='F score', ylabel='Features',
Xgboost.plot_importance 参数解释
Hoolys
11-11 2935
关于Xgboost API 中的 plot_importance 函数的参数解读，以及重要参数的详细解释。
Xgboost筛选特征重要性
余音丶未散的博客
12-16 3万+
基本思想 根据结构分数的增益情况计算出来选择哪个特征的哪个分割点，某个特征的重要性，就是它在所有树中出现的次数之和。 使用代码 import pandas as pd import xgboost as xgb import operator from matplotlib import pylab as plt def ceate_feature_map(features): ...
SHAP（二）：使用 XGBoost 预测英雄联盟获胜
May the Force be with you
11-05 647
特定预测的特征的 SHAP 值表示当我们观察该特征时模型预测的变化程度。在下面的汇总图中，我们将单个特征（例如“goldearned”）的所有 SHAP 值绘制成一行，其中 x 轴是 SHAP 值（对于该模型，以获胜的对数赔率为单位）。通过对所有特征执行此操作，我们可以看到哪些特征对模型的预测有很大影响（例如“goldearned”），哪些特征对预测影响很小（例如“kills”）。请注意，当点在线上不一致时，它们会垂直堆积以显示密度。每个点也根据该特征的值从高到低进行着色。
XGBOOST从原理到实战：二分类 、多分类
lizz2276的博客
05-23 6752
注：转载请注明出处，https://blog.csdn.net/HHTNAN/ 1.XGBoost 2. XGBoost的优点 2.1 正则化 2.2 并行处理 2.3 灵活性 2.4 缺失值处理 2.5 剪枝 2.6 内置交叉验证 3. XGBoost详解 3.1 数据格式 3.2 参数设置 4.模型的训练、预测、保存 4.1 训练模型 4.2模型预测 4.3 保存与加载模型 4.4导出模型和特征映射（Map） 5. XGBoost参数说明 5.1 General Parameters 5.2 Para
机器学习模型的解释-SHAP
weixin_41851055的博客
05-18 1万+
数据监控SHAP值 SHAP值 SHAP值基于Shapley值，Shapley值是博弈论中的一个概念。SHAP所做的是量化每个特征对模型所做预测的贡献。 对于所有的特征上图可以自由组合共有2^3=8种可能（数学中称为power set即幂集）。SHAP需要为幂集中的每个不同的组合训练一个不同的预测模型，这意味着有8个模型。当然，这些模型在涉及到它们的超参数和训练数据时是完全等价的。唯一改变的是模型中包含的一组特征。 假设上图是已经用相同训练样本训练了8个线性回归的模型。我们可以用这8个模型分别对一个测试样
SHAP解释模型（二）
谢彦的技术博客
08-21 6799
本文续 "SHAP解析模型" 之后，又尝试了一些SHAP新版本的进阶用法，整理并与大家分享．
利用Shap解释Xgboost（或者别的）模型
weixin_43615654的博客
12-07 1万+
Shap的一些介绍： SHAP包 算法解析 shap的中文解析 知乎的翻译 ps,sklearn库的模型可以用lime模块解析 本文参考利用SHAP解释Xgboost模型 数据集
python平台下实现xgboost算法及输出的解释
kizgel的博客
10-17 1万+
python平台下实现xgboost算法及输出的解释 问题描述 数据集 训练集与测试集 Xgboost建模 1 模型初始化设置 2 建模与预测 3 可视化输出 31 得分 32 所属的叶子节点 32 特征重要性python平台下实现xgboost算法及输出的解释1. 问题描述​ 近来, 在python环境下使用xgboost算法作若干的机器学习任务, 在这个过程中也使用了其内置的函数来可
shap解释xgboost模型
05-16
SHAP（SHapley Additive exPlanations）是一种用于解释模型预测的方法，它基于 Shapley 值原理，通过对特征值的排列组合来计算每个特征对预测结果的影响，从而得出每个特征的重要性评分。 对于 XGBoost 模型，可以利用 SHAP 来解释模型的预测结果。具体步骤如下： 1. 加载数据集并训练 XGBoost 模型。 2. 使用 SHAP 计算每个特征对每个样本的贡献值。 3. 可视化 SHAP 值，展示每个特征对预测结果的影响。 具体实现可以参考以下代码： ``` python import shap import xgboost # 加载数据集 X,y = shap.datasets.diabetes() # 训练 XGBoost 模型 model = xgboost.train({"learning_rate": 0.01}, xgboost.DMatrix(X, label=y), 100) # 计算 SHAP 值 explainer = shap.Explainer(model) shap_values = explainer(X) # 可视化 SHAP 值 shap.plots.waterfall(shap_values[0]) ``` 该代码中，我们首先加载了 diabetes 数据集，并训练了一个 XGBoost 模型。然后，利用 SHAP 计算出每个特征对每个样本的贡献值，最后使用可视化工具展示每个特征对预测结果的影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值