特征重要性与shap值

最新推荐文章于 2024-06-02 23:07:11 发布
最新推荐文章于 2024-06-02 23:07:11 发布
阅读量1.1w 收藏 82
点赞数 6
分类专栏： 机器学习 python 文章标签： 数据分析 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cherdw/article/details/107545623
版权
本文探讨了在机器学习模型中，尤其是Xgboost中，特征重要性和Shap值如何帮助理解模型决策过程。特征重要性通过不同指标（如权重、增益、覆盖）提供变量影响力，而Shap值则进一步揭示了特征影响的正负性。通过Shap值的可视化和部分依赖图，可以更深入地分析样本特征与预测结果之间的关系，这对于提高模型的可解释性和应用在风控领域的价值至关重要。
摘要由CSDN通过智能技术生成

在模型的训练过程中，往往会需求更加优异的模型性能指标如准确率、召回等，但在实际生产中，随着模型上线使用产生衰减，又需要快速定位问题进行修复，因此了解模型如何运作、哪些特征起到了关键作用有着重要意义。同时，可解释的模型能够让业务方也就是模型使用者，能够更加信任和熟悉模型的决策过程。尤其在风控领域，基于金融机构的监管层要求以及信贷业务的稳健发展方面，都需要在信贷业务流程中部署的风控模型具有良好的解释性。

机器学习效果往往会优于传统的评分卡模型，相对于可以对每个入模变量赋予权重的逻辑回归方法来说，机器学习的训练和部署，相当于封装在一个黑匣子里，输入变量得出预测概率值。因此我们想要保留机器学习的优越性能，尝试赋予模型可解释性，以寻求一个平衡点。Xgboost是最我们最常使用的机器学习模型，训练完模型到底是哪些变量起到了重要的作用，又是怎么影响预测结果的呢？尝试从变量重要性，结合shap值去进行解释。

特征重要性

xgboost可以通过get_fscore获取特征重要性，可以查看官网上的API使用方法：

get_score(fmap='', importance_type='weight')

Get feature importance of each feature. Importance type can be defined as:

  • ‘weight’: the number of times a feature is used to split the data across all trees.
  • ‘gain’: the average gain across all splits the feature is used in.
  • ‘cover’: the average coverage across all splits the feature is used in.
  • ‘total_gain’: the total gain across all splits the feature is used in.
  • ‘total_cover’: the total coverage across all splits the feature is used in.
# 计算变量的所有特征重要性
importance_all = pd.DataFrame()
for importance_type in ('weight', 'gain', 'cover', 't
最低0.47元/天 解锁文章
Chercheer
关注
专栏目录
特征重要性工具SHAP
小山羊的学习日志
02-18 2154
这是一个关于用Shapley值解释机器学习模型的介绍。沙普利值是合作博弈论中广泛使用的一种方法，具有理想的特性。我们将采取实际操作的方法，使用Shap Python软件包来解释复杂的模型。 文章目录SHAP下载 SHAP 下载
Python 中的 SHAP 简介
最新发布
茶桁专栏
08-16 1341
本文中有多篇计划文章，后期会补充相关链接。鉴于公众号内无法后期修改文章，请关注原文链接。如何创建和解释 SHAP 图：瀑布图、力图、平均 SHAP 图、蜂群图和依赖图可直接在橱窗里购买，或者到文末领取优惠后购买：SHAP 是用于理解和调试模型的最强大的 Python 包。它可以告诉我们每个模型特征对单个预测的贡献。通过汇总 SHAP 值，我们还可以了解多个预测的趋势。只需几行代码，我们就能识别和可视化模型中的重要关系。我们将介绍用于计算和显示 SHAP 值的代码。
数据分析 | 特征重要性分析 | 树模型、SHAP值法
喜欢数学建模的大一小白
08-28 4655
本文基于集成学习的方法介绍另外两种可以分析特征重要性的方法：树模型、SHAP值法。
shap库进行特征重要性排名。
weixin_41692538的博客
03-24 4525
最近把之前没写完的一篇文章拿出来重新改，里面一张柱状图真是显得很low， 于是在浏览博客时发现了一张很惊艳的图 瞬间觉得柱状图low爆了，于是各种找方法，终于找到了shap库，pip install shap安排上 导入库 anaconda search -t shap pip install --channel 链接 下载完成 import numpy as np import pandas as pd from sklearn.model_selection import train_test_spl
【Python特征工程系列】利用SHAP进行特征重要性分析-决策树模型为例（案例+源码）
数据杂坛
05-29 3177
利用SHAP进行特征重要性分析-决策树模型为例（案例+源码）
机器学习_特征重要性之Shapely Value
大道至简
09-12 4409
很多时候我们输出的特征重要性gain值和cover值不一致，会导致些许困惑（到底那个特征最为重要，那个特征重要性要靠前）。所以，我们考虑用shapely value 来衡量特征的重要性，它即考虑了特征的cover，同时也考虑了gain值，且输出结果更加的符合业务直觉。 在XGB中预测接口同样配置了样本shap值的输出选项（xgb_model.predict(te_mt, pred_contribs=True)）。因此本文主要简单梳理下树模型的Shap value值计算 一、Shapely Value sha
chatgpt赋能python：PythonSHAP-解析并可视化机器学习模型的特征重要性
lvsetongdao123的博客
05-25 885
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
【Python】探索 SHAP 特征贡献度：解释机器学习模型的利器
2333333
06-02 2186
SHAP，全称为 SHapley Additive exPlanations，是一种解释机器学习模型输出的方法。它基于合作博弈论中的 Shapley 值，通过计算每个特征对预测结果的贡献度，帮助我们理解复杂模型的决策过程。SHAP 值可以解释任何机器学习模型的预测结果，是一种模型无关的解释方法。
使用 Python 对股票参数进行特征重要性分析
libaiup的博客
01-11 889
特征重要性分析，顾名思义就是要看看这一批参数里面，各个参数对模型预测结果的贡献度分别是多少，对于每一个预测结果来说，哪些参数的贡献度是最大的，哪些参数是无关紧要的。在本文中，我们以预测股票涨跌为例，简要介绍使用 Python 来对股票预测模型的参数进行特征重要性分析的方法，希望对大家能有所帮助。需要注意的是，模型预测的准确性和模型以及数据都有关系，要谨慎使用。
机器学习模型可解释性进行到底——特征重要性（四）
素质云笔记
04-13 8135
文章目录1 四种全局可解释的方法论1.1 过滤法1.1.1 方差过滤方差过滤1.1.2 相关性过滤1.2 嵌入法1.2.1 SelectFromModel - 筛选特征1.2.2 PermutationImportance - 排列重要性1.3 包装法1.4 几种方法对比1.5 额外的交叉特征筛选模型：AutoFIS2 SHAP(SHapley Additive exPlanation)2.1 SHAP 与 Permutation importance 的差异2.2 特征归因的一致性2.2.1 树模型
利用SHAP解释Xgboost模型
qq_45531594的博客
10-08 1万+
Xgboost相对于线性模型在进行预测时往往有更好的精度，但是同时也失去了线性模型的可解释性。所以Xgboost通常被认为是黑箱模型。 2017年，Lundberg和Lee的论文提出了SHAP值这一广泛适用的方法用来解释各种模型（分类以及回归），其中最大的受益者莫过于之前难以被理解的黑箱模型，如xgboost和神经网络模型。 本教程中，我们在真实数据集上进行实操，利用SHAP来解释Xgboost模型。 预计学习用时：30分钟。 本教程基于Python 3.6版本、Xgboost 0.82版本以及shap 0
Python中进行特征重要性分析的8个常用方法
涛哥聊Python
12-01 2695
这些方法为理解特征在模型中的重要性提供了多种视角。决策树和集成学习模型提供了直接的特征重要性分析，而统计学方法（如相关系数、互信息）可用于了解特征之间的关系。同时，SHAP值和Permutation Feature Importance提供了模型预测的个性化解释和对特征重要性的直观理解。综合使用这些方法可以更全面地评估特征的重要性，并且为模型解释提供更深入的认识。在实际应用中，根据数据集的特性和所使用的模型，选择适当的方法来进行特征重要性分析是至关重要的。
关于xgboost中feature_importances_和xgb.plot_importance不匹配的问题。
OriginPlan
10-15 2万+
model.feature_importances_是和原训练集中的列名相对应的！！！ 我一直从直觉上就这么觉得，因为如果不对应的话，那要怎么排列呢？ 1. model.feature_importances im=pd.DataFrame({'importance':model.feature_importances_,'var':data4.columns[:-1]}) im=im.s...
Xgboost筛选特征重要性
余音丶未散的博客
12-16 3万+
基本思想 根据结构分数的增益情况计算出来选择哪个特征的哪个分割点，某个特征的重要性，就是它在所有树中出现的次数之和。 使用代码 import pandas as pd import xgboost as xgb import operator from matplotlib import pylab as plt def ceate_feature_map(features): ...
XGBoost R 教程 3：SHAPforxgboost
weixin_45851732的博客
11-09 1126
而且，比较上图中的模型 B 和模型 A，模型 B 的输出实际上被修改了，它更多地依赖于给定的特征（Cough，输出分数增加了 10），所以 Cough 应该是一个更重要的特征。sina plots 使用每个观测值的每个特征的 SHAP 值显示特征对模型输出的贡献分布（在本例中为 CWV 测量误差的预测）。使用上面模型 A 的数据集作为一个简单的示例，哪个特征首先进入数据集会通过 Gain 生成相反的特征重要性：无论哪个特征较晚（在树中较低的位置）都会获得更多的信用。这为数据集中的每个观察提供了模型解释。
XGB模型可解释性SHAP包实战
u010970317的博客
10-16 4139
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言1.XGB建模2.SHAP分析参考文档 前言 Xgboost相对于逻辑回归模型在进行预测时往往有更好的精度，但是同时也失去了线性模型的可解释性。 Feature importance可以直观地反映出特征的重要性，看出哪些特征对最终的模型影响较大。但是无法判断特征与最终预测结果的关系是如何的。 Lundberg和Lee的论文提出了SHAP值这一广泛适用的方法用来解释各种模型（分类以及回归），如boosting和神经网络模型。
机器学习模型可解释性进行到底 —— SHAP值理论（一）
热门推荐
素质云笔记
04-07 8万+
最近在系统性的学习AUTOML一些细节，本篇单纯从实现与解读的角度入手， 因为最近SHAP版本与之前的调用方式有蛮多差异，就从新版本出发，进行解读。 不会过多解读SHAP值理论部分，相关理论可参考： 关于SHAP值加速可参考以下几位大佬的文章： 文章目录1 介绍2 可解释图2.1 单样本特征影响图 1 介绍 文章可解释性机器学习_Feature Importance、Permutation Importance、SHAP 来看一下SHAP模型，是比较全能的模型可解释性的方法，既可作用于之前的全局解释，.
Xgboost.plot_importance 参数解释
Hoolys
11-11 3025
关于Xgboost API 中的 plot_importance 函数的参数解读，以及重要参数的详细解释。
Xgboost中特征重要性计算方法详解
bitcarmanlee的博客
04-11 7523
1.plot_importance方法 xgboost中的plot_importance方法内置了几种计算重要性的方式。 def plot_importance(booster, ax=None, height=0.2, xlim=None, ylim=None, title='Feature importance', xlabel='F score', ylabel='Features',
shap.dependence_plot如何绘制图
06-07
要使用`shap.dependence_plot`绘制图，需要先导入`shap`模块，并确保已经安装了`matplotlib`和`numpy`模块。 `shap.dependence_plot`的语法如下： ```python shap.dependence_plot(ind, shap_values, features, feature_names=None, display_features=None, interaction_index=None, xlabel=None, ylabel=None, title=None, xmin=None, xmax=None, ax=None, show=True) ``` 其中，参数含义如下： - `ind`：要绘制依赖关系图的特征的索引。 - `shap_values`：SHAP值，可以是单个实例的SHAP值，也可以是多个实例的SHAP值。 - `features`：特征矩阵，可以是单个实例的特征矩阵，也可以是多个实例的特征矩阵。 - `feature_names`：特征名称，默认为None。 - `display_features`：展示的特征矩阵，可以是单个实例的特征矩阵，也可以是多个实例的特征矩阵，默认为None。 - `interaction_index`：交互特征的索引，可以是None、整数或者元组，默认为None。 - `xlabel`：x轴标签，默认为None。 - `ylabel`：y轴标签，默认为None。 - `title`：图像标题，默认为None。 - `xmin`：x轴最小值，默认为None。 - `xmax`：x轴最大值，默认为None。 - `ax`：用于绘制图像的matplotlib.axes.Axes对象，默认为None。 - `show`：是否调用matplotlib的show函数显示图像，默认为True。 举个例子，假设我们有一个特征矩阵`X`、一个目标变量`y`和一个训练好的模型`model`，我们可以使用以下代码绘制第0个特征与目标变量之间的依赖关系图： ```python import shap import matplotlib.pyplot as plt import numpy as np # 计算SHAP值 explainer = shap.Explainer(model.predict, X) shap_values = explainer(X) # 绘制依赖关系图 shap.dependence_plot(0, shap_values, X, feature_names=['feature0']) plt.show() ``` 这将绘制出第0个特征与目标变量之间的依赖关系图。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值