The permutation feature importance、PDP(部分依赖图，Partial Dependence Plot)、SHAP值简述

ctrl+c、v

已于 2024-07-02 10:23:47 修改

阅读量427

点赞数 5

文章标签：算法人工智能机器学习

于 2024-07-01 15:57:35 首次发布

本文链接：https://blog.csdn.net/qq_44846964/article/details/140099242

版权

一、The permutation feature importance

置换特征重要性仅对感兴趣的目标特征 ${_{X}}^{}_{j}$ 进行置换，具体的公式如下：

假设 ${_{X}}^{}_{j}$ = ${_{X}}^{}_{1}$ ，保持其他特征值不变，仅仅对 ${_{X}}^{}_{1}$ 进行打乱，并把每次打乱后的模型损失函数计算出来，重复R次即可得到特征 ${_{X}}^{}_{1}$ 的重要性。

不难发现，The permutation feature importance仅能用于特征的全局解释。

图例：

二、PDP(部分依赖图，Partial Dependence Plot)

TPFI是固定除了Xj以外的所有特征值。

PDP则是固定Xj的的特征值，并假设所有的特征是独立的，然后将其他所有的特征值进行组合。具体公式如下：

实例中的特征值往往是离散的，即使是离散，计算量依然很大。

假设|xi|代表特征xi集合的大小，那么计算一个特征xj=1的PDP值就需要对特征j以外的所有特征集合大小相乘。即计算次数为： $\prod_{i=1}^{n} |x_{i}|$ ，且i≠j。

因此，实际中使用样本数n来代替 $\prod_{i=1}^{n} |x_{i}|$ ，用某一样本的Xc取值来代替原本的组合。近似计算公式如下：

实例：

样本	特征1	特征2	特征3
样本1	1	5	9
样本2	2	6	8
样本3	3	7	7
样本4	4	8	6

假设 ${_{X}}^{}_{j}$ = ${_{X}}^{}_{1}$ ，将所有的X1替换为X1=X1i，并把预测值计算出来取均值即可得到x1i的PDP值，重复i次即可得到绘制PDP图所需的点。下图是以X1=1为例。

样本	特征1	特征2	特征3
样本1	1	5	9
样本2	1	6	8
样本3	1	7	7
样本4	1	8	6

可以设想，如果不进行近似计算，特征2的取值有4个：{5,6,7,8}，特征3的取值有4个：{6,7,8,9}，因此计算特征1=1时的PDP值（即下图的一个点），需要4*4=16次，然后取均值。如果样本的特征维度比较高，则需要更多次计算。以分子指纹为例，如果生成的二进制分子指纹维度为2048，每一位取值为0或1，那么想要绘制PDP图中的一个点，就需要2^2048次计算。

而使用近似计算后，对于上述的实例，仅需要计算n=4次。对于分子指纹的例子，也仅需样本数n次计算。

不难发现，PDP不仅能用于特征的全局解释，也可以进行局部解释。即目标变量与某特征具体取值之间的关系。

图例：

局部解释