ML之shap：基于boston波士顿房价回归预测数据集利用shap值对XGBoost模型实现可解释性案例

已于 2022-07-06 19:27:42 修改
阅读量3.8k 收藏 37
点赞数 9
分类专栏： ML 文章标签： 回归 机器学习 shap
于 2022-07-03 23:57:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/125591781
版权

 ML之shap：基于boston波士顿房价回归预测数据集利用shap值对XGBoost模型实现可解释性案例 

目录

基于boston波士顿房价回归预测数据集利用shap值对XGBoost模型实现可解释性案例

# 1、定义数据集

# 2、数据集预处理

# 4、基于XGBR模型实现shap值分析

# 4.1、模型建立并训练

# 4.2、基于模型本身输出特征重要性

# 4.3、局部独立图可视化某特征的变化如何影响模型的输出及该特征值的分布

# 4.4、利用Shap值解释XGBR模型

# 4.5、基于XGBoost模型实现Shap值可视化分析

相关文章
ML之shap：基于boston波士顿房价回归预测数据集利用shap值对XGBoost模型实现可解释性案例
ML之shap：基于boston波士顿房价回归预测数据集利用Shap值对LiR线性回归模型实现可解释性案例
ML之shap：基于boston波士顿房价回归预测数据集利用Shap值对LiR线性回归模型、XGBoost模型实现可解释性案例实现代码

基于boston波士顿房价回归预测数据集利用shap值对XGBoost模型实现可解释性案例

# 1、定义数据集

更新中……

# 2、数据集预处理

更新中……

# 4、基于XGBR模型实现shap值分析

# 4.1、模型建立并训练

# 4.2、基于模型本身输出特征重要性

XGBR_importance_dict： [('DIS', 57), ('RM', 42), ('LSTAT', 39), ('PTRATIO', 29), ('NOX', 28), ('TAX', 28), ('CRIM', 23), ('B', 15), ('AGE', 13), ('RAD', 8), ('INDUS', 8), ('CHAS', 4), ('ZN', 1)]

# 4.3、局部独立图可视化某特征的变化如何影响模型的输出及该特征值的分布

# 4.4、利用Shap值解释XGBR模型

# 4.5、基于XGBoost模型实现Shap值可视化分析

# (1)、利用局部独立图计算shap值

     

# (2)、某列样本值(特征值)、及其对应shap值散点图可视化

# (3)、对所有样本中每个特征计算shap平均绝对值/最大绝对值条形图可视化

# (4)、对所有样本中每个特征计算shap平均绝对值蜂群图可视化

# (5)、对所有样本中每个特征计算shap平均绝对值热图可视化

# (6)、基于cluste算法处理相关性的特征并可视化

ML之shap：基于boston波士顿房价回归预测数据集利用Shap值对LiR线性回归模型实现可解释性案例
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-03 2370
ML之shap：基于boston波士顿房价回归预测数据集利用Shap值对LiR线性回归模型实现可解释性案例目录基于boston波士顿房价回归预测数据集利用Shap值对LiR线性回归模型实现可解释性案例# 1、定义数据集# 2、数据集预处理# 3、基于LiR模型实现shap值分析# 3.1、模型建立并训练# 3.2、基于模型本身输出特征重要性# 3.3、局部独立图可视化某特征的变化如何影响模型的输出及该特征值的分布# 3.4、利用shap值解释LiR模型# 3.5、基于LiR模型实现shap值可视化分析更新中
XAI之SHAP：SHAP算法(How—每个特征如何重要/解释单个样本的预测)的简介(背景/思想/作用/原理/核心技术点/优缺点)、常用工具库、应用案例之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-10 4543
​ XAI之SHAP：SHAP算法(How—每个特征如何重要/解释单个样本的预测)的简介(背景/思想/作用/原理/核心技术点/优缺点)、常用工具库、应用案例之详细攻略 目录 SHAP的简介 SHAP的常用工具库 SHAP的应用案例 相关文章 ML之SHAP：机器学习可解释性之SHAP值之理解单样本单特征预测 ML之SHAP：机器学习可解释性之SHAP值的高级使用之聚合 SHAP 值以获得更详细的模型见解 SHAP的简介 论文： Paper：
ML之LIME：基于boston波士顿房价数据集回归预测利用LIME/SP-LIME局部解释图/权重图结合RF随机森林模型实现模型事后解释案例之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-16 3309
​ ML之LIME：基于boston波士顿房价数据集回归预测利用LIME/SP-LIME局部解释图/权重图结合RF随机森林模型实现模型事后解释案例之详细攻略 目录 基于boston波士顿房价数据集回归预测利用LIME/SP-LIME局部解释图/权重图结合RF随机森林模型实现模型事后解释案例之详细攻略 # 1、定义数据集 # 2、数据预处理 # 3、模型建立并训练 # 4、解释模型 相关文章 ML之LIME：基于boston波士顿房价数据集回归预测利用LIME/SP-LIME
机器学习+城市规划第三期：XGBoost-SHAP分类模型实战
weixin_68198036的博客
02-12 2120
在原本的XGB模型中，我们利用的是softmax激活函数，他的原理是利用分类标签来进行的。然而对于SHAP来说，依照变量选择的概率设置，因此我们需要选择softprob激活函数，计算多分类中样本特征的选择概率，因此需要重新构建XGB模型。# XGB概率输出# XGBoost 初始化设置params = {'objective': 'multi:softprob', # 多分类类别概率'num_class': 4, # **三分类任务**'seed': 0,# 训练模型# 进行预测。
利用Shap解释Xgboost（或者别的）模型
热门推荐
weixin_43615654的博客
12-07 1万+
Shap的一些介绍： SHAP包 算法解析 shap的中文解析 知乎的翻译 ps,sklearn库的模型可以用lime模块解析 本文参考利用SHAP解释Xgboost模型 数据集
利用SHAP解释Xgboost模型
qq_45531594的博客
10-08 1万+
Xgboost相对于线性模型在进行预测时往往有更好的精度，但是同时也失去了线性模型的可解释性。所以Xgboost通常被认为是黑箱模型。 2017年，Lundberg和Lee的论文提出了SHAP值这一广泛适用的方法用来解释各种模型（分类以及回归），其中最大的受益者莫过于之前难以被理解的黑箱模型，如xgboost和神经网络模型。 本教程中，我们在真实数据集上进行实操，利用SHAP来解释Xgboost模型。 预计学习用时：30分钟。 本教程基于Python 3.6版本、Xgboost 0.82版本以及shap 0
XGBoost模型构建+SHAP解析-Python代码——用XGBoost模型实现机器学习并进行黑箱过程解析
qq_41698317的博客
07-16 8451
本文中的代码可直接运行。XGBoost模型构建+SHAP解析-Python代码——用XGBoost模型实现机器学习并进行黑箱过程解析。XGBoost（Extreme Gradient Boosting）是一个基于梯度提升（Gradient Boosting）框架的增强算法，广泛应用于分类、回归、排序等任务。信用风险评估销售预测病毒检测图像识别。
【深度学习·命运-48】SHAP-xgboost应用
m0_69378371的博客
12-09 850
SHAP 是一种基于 Shapley 值的模型解释方法，它为每个特征提供了清晰、可解释的贡献度量，能够帮助我们理解复杂模型的决策过程。SHAP 具有强大的理论基础，能够提供一致、公正的解释，并且适用于多种机器学习任务。尽管 SHAP 在计算上可能会存在一些开销，但它为模型的可解释性提供了一个强大的工具，尤其在需要高可信度和透明度的场景（如医疗、金融、法律等）中具有重要应用价值。
【教程】SHAP值解释xgboost模型的特征重要性-SofaSofa
SofaSofa_io的博客
05-11 1万+
利用SHAP解释Xgboost模型 Xgboost相对于线性模型在进行预测时往往有更好的精度，但是同时也失去了线性模型的可解释性。所以Xgboost通常被认为是黑箱模型。 2017年，Lundberg和Lee的论文提出了SHAP值这一广泛适用的方法用来解释各种模型（分类以及回归），其中最大的受益者莫过于之前难以被理解的黑箱模型，如xgboost和神经网络模型。 本教程中，我们在真实数据集上进行实操...
Py之shap：shap库的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-04 1万+
​ Py之shap：shap库的简介、安装、使用方法之详细攻略 目录 shap库的简介 shap库的安装 shap库的使用方法 shap库的简介 SHAP (SHapley Additive explanation)是一种博弈论方法，用于解释任何机器学习模型的输出。它利用博弈论及其相关扩展中的经典沙普利值，将最优信贷分配与当地解释联系起来(详见论文)。 github：GitHub - slundberg/shap: A game theoretic approach
波士顿房价分析及matlab实现.zip
05-27
在本项目中，我们将深入探讨如何使用MATLAB对波士顿房价数据集进行分析，包括回归树和线性回归模型的构建，以及房价的分类预测。波士顿房价数据集是一个经典的统计学习问题，常被用于教学和研究，其中包含了1978年...
机器学习教程：SHAP值和LIME 值解释模型预测结果
最新发布
Cachel Wood的博客
02-26 344
SHAP值和LIME值都是用于解释机器学习模型预测结果的工具，下面分别介绍它们的原理。
XGBoost R 教程 3：SHAPforxgboost
🧑‍🎓 博士研究生在读 🔬 分享生物信息学、神经生物学方面的知识 💬 合作请在后台留言
11-09 2228
而且，比较上图中的模型 B 和模型 A，模型 B 的输出实际上被修改了，它更多地依赖于给定的特征（Cough，输出分数增加了 10），所以 Cough 应该是一个更重要的特征。sina plots 使用每个观测值的每个特征的 SHAP 值显示特征对模型输出的贡献分布（在本例中为 CWV 测量误差的预测）。使用上面模型 A 的数据集作为一个简单的示例，哪个特征首先进入数据集会通过 Gain 生成相反的特征重要性：无论哪个特征较晚（在树中较低的位置）都会获得更多的信用。这为数据集中的每个观察提供了模型解释。
SHAP（二）：使用 XGBoost 预测英雄联盟获胜
May the Force be with you
11-05 878
特定预测的特征的 SHAP 值表示当我们观察该特征时模型预测的变化程度。在下面的汇总图中，我们将单个特征（例如“goldearned”）的所有 SHAP 值绘制成一行，其中 x 轴是 SHAP 值（对于该模型，以获胜的对数赔率为单位）。通过对所有特征执行此操作，我们可以看到哪些特征对模型的预测有很大影响（例如“goldearned”），哪些特征对预测影响很小（例如“kills”）。请注意，当点在线上不一致时，它们会垂直堆积以显示密度。每个点也根据该特征的值从高到低进行着色。
[xgboost+shap]解决二分类问题笔记梳理
qq_59922536的博客
10-07 2615
二分类问题笔记梳理
解码癌症预测的密码：可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
笑不语的博客
09-21 1941
为了解决这个问题，SHAP提出了一种基于局部贡献的近似计算方法，通过构建一个与目标样本相似的虚拟数据集，对每个特征进行扰动，计算得到每个特征的局部贡献值，从而近似计算出Shapley值。然而，机器学习模型的黑盒性质限制了其在临床实践中的应用。可解释的机器学习被广泛关注，它不仅能够提供准确的预测，还能够解释模型预测的依据，增强了对预测结果的信任度和理解度。总的来说，通过将SHAP与XGBoost结合在癌症预测中，可以提供更好的模型解释性和预测能力，帮助医生和研究人员更好地理解和利用模型的预测结果。
机器学习黑盒？SHAP（SHapley Additive exPlanations）使用 XGBoost 的可解释机器学习
fulk6667g78o8的专栏
01-06 3017
在公众号「python风控模型」里回复关键字：学习资料QQ学习群：1026993837 领学习资料模型可解释性这是一个关于错误解释机器学习模型的危险以及正确解释它的价值的故事。如果您发现诸如梯度提升机或随机森林之类的集成树模型的鲁棒准确性很有吸引力，但也需要解释它们，那么我希望您发现这些信息有用且有帮助。试想一下，我们的任务是预测个人Ô为n行的财务状况。我们的模型越准确，银行赚的钱就越多，但由于此预测用于贷款申请，因此法律上也要求我们解释为什么做出预测。在对多种模型类型进行试验后，我们发现 XGBoost
XGBoost结合SHAP应用：回归、二分类、多分类模型
weixin_45520028的博客
10-09 1万+
引言 XGBoost用于建模，SHAP用户模型的可视化解释。 XGBoost原理参考推荐： https://zhuanlan.zhihu.com/p/75217528 SHAP原理参考推荐： https://blog.csdn.net/weixin_45520028/article/details/108857908 XGBoost建模 1 数据准备 1 数据准备 2 数据处理 2 数据处理 3 XGB模型 3 XGB模型 4 模型评估 4 模型评估 XGBoost使用笔记 1 XGBoost模型参数解释
SHAP（五）：使用 XGBoost 进行人口普查收入分类
May the Force be with you
12-02 1944
本笔记本演示了如何使用 XGBoost 预测个人年收入超过 5 万美元的概率。它使用标准 UCI 成人收入数据集。要下载此笔记本的副本，请访问。XGBoost 等梯度增强机方法对于具有多种形式的表格样式输入数据的此类预测问题来说是最先进的。Tree SHAP（）允许精确计算树集成方法的 SHAP 值，并已直接集成到 C++ XGBoost 代码库中。这允许快速精确计算 SHAP 值，无需采样，也无需提供背景数据集（因为背景是从树木的覆盖范围推断出来的）。
基于XGBoost模型的房价数据可视化
01-04
### 使用XGBoost模型实现房价数据的可视化分析 #### 数据准备与加载 为了进行有效的可视化分析，首先需要准备好用于训练和测试的数据集。以Boston房价数据集为例，在Python环境中可以通过`sklearn.datasets`模块轻松获取该数据集[^1]。 ```python from sklearn import datasets import pandas as pd # 加载波士顿房价数据集 boston = datasets.load_boston() df = pd.DataFrame(boston.data, columns=boston.feature_names) df['PRICE'] = boston.target ``` #### 构建并训练XGBoost模型 完成数据预处理之后，下一步就是构建XGBoost回归模型，并对其进行训练。这里采用默认参数快速搭建一个基础版本的XGBoost模型[^3]。 ```python import xgboost as xgb from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 划分特征变量与目标变量 X = df.drop('PRICE', axis=1) y = df['PRICE'] # 将数据划分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123) # 创建DMatrix对象供XGBoost使用 dtrain = xgb.DMatrix(X_train, label=y_train) dtest = xgb.DMatrix(X_test, label=y_test) # 设置初始参数 params = { 'objective': 'reg:squarederror', } # 训练模型 model = xgb.train(params=params, dtrain=dtrain, num_boost_round=100) ``` #### 可视化实际值对比预测值 通过绘制图表比较真实价格与预测价格之间的差异，能够直观地评估模型性能。此部分展示了如何创建散点图来展示两者的关系[^2]。 ```python import matplotlib.pyplot as plt import seaborn as sns # 获取预测结果 predictions = model.predict(dtest) # 绘制实际值 vs 预测值图形 plt.figure(figsize=(8, 6)) sns.scatterplot(x=y_test, y=predictions) line = range(int(min(y_test)), int(max(y_test)) + 1) plt.plot(line, line, color='red') # 对角线表示完美拟合情况 plt.xlabel('Actual Prices') plt.ylabel('Predicted Prices') plt.title('Actual Price VS Predicted Price') plt.show() ``` #### SHAP值解释模型决策逻辑 除了基本的结果可视化外，还可以借助SHAP库进一步探索各个输入特征对于最终输出的影响程度。这有助于理解哪些因素最影响房屋定价以及它们是如何共同作用于模型预测中的。 ```python import shap explainer = shap.TreeExplainer(model) shap_values = explainer.shap_values(X_test) # 总览各特征的重要性 shap.summary_plot(shap_values, X_test, feature_names=X.columns.tolist(), plot_type="bar") # 局部依赖关系绘图 for name in ['RM', 'LSTAT']: # 这里选择了两个重要特征作为例子 shap.dependence_plot(name, shap_values, X_test, interaction_index=None, feature_names=X.columns.tolist()) ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值