SHAP论文--统一的解释模型预测的方法

1. 简介

SHAP (SHapley Additive exPlanations).。

本文主要是根据2017年11月《A Unified Approach to Interpreting Model Predictions》翻译总结。

模型的准确率和可解释性同等重要，但是现在模型越复杂准确率越高，但其可解释下越差，面临着准确率和可解释性的矛盾。

本文我们提出了一个新颖的统一的方法（SHAP）来解释模型的预测。
1）我们定义了additive feature attribution方法，统一了以前的6种方法，包括LIME、DeepLIFT、Layer-Wise Relevance Propagation、Classic Shapley Value Estimation（Shapley regression values , Shapley sampling values , Quantitative Input Influence）。
2）博弈论结果保证了唯一的解决方案，可以应用于additive feature attribution方法。SHAP 可以作为一个统一的衡量特征重要性的方法。
3）SHAP和人类直觉的衡量类似，而且更加有效。

SHAP value最大的优势是SHAP能对于反映出每一个样本中的特征的影响力，而且还表现出影响的正负性。

2 博弈论Shapley Value

Shapley Value其实是求累加贡献（marginal contribution）的均值。例如A单独工作产生价值v ( { A } )，后加入B之后共同产生价值v ( { A , B } )，那么B的累加贡献为v ( { A , B } ) − v ( { A } )。对于所有能够形成全集N的序列，求其中关于元素x i 的累加贡献，然后取均值即可得到x i的Shapley Value值。

基于Shapley值进行联盟成员的利益分配体现了各盟员对联盟总目标的贡献程度，避免了分配上的平均主义，比任何一种仅按资源投入价值、资源配置效率及将二者相结合的分配方式都更具合理性和公平性，也体现了各盟员相互博弈的过程。但Shapley值法的利益分配方案尚未考虑联盟成员的风险分担因素，实质上隐含着各盟员风险分担均等的假设.

成员i在参与S联盟时有(|S|-1)!种排序，|S|表示联盟S所包含的成员数，而剩余(n-|S|)个成员的排序有(n-|S|)!种，所有成员i参与的不同的排序组合除以n个成员的随机排序组合就是成员i对于联盟整体所应分得利益得权重，记为 [(|S|-1) !(n-|S|)!]/(n!) 。成员i参与不同联盟S为自身参与联盟创造得 边际贡献 记为 [v(S)-v(S\ {i})] ，那么成员i从总体利益v(N)所分得的利益为：

3.additive feature attribution方法

最好的模型解释其实是模型自身。但对于复杂的模型，比如集成模型或者深度网络，我们不能使用原来的模型进行解释，因为它很难理解。所以，我们可以使用一个简单的解释模型explanation model，我们定义它为原来模型的任意解释的近似。

然后说明了这六种方法LIME、DeepLIFT、Layer-Wise Relevance Propagation、Classic Shapley Value Estimation（Shapley regression values , Shapley sampling values , Quantitative Input Influence）都符合additive feature attribution方法。

4. 唯一决定附加特征（additive feature）的一些属性

属性1-本地正确性

属性2-缺失性

属性3-一致性

当模型变了（f变到f^’），一些简化的输入的贡献增加了，那么输入的特性就不应该减少。公式如下。

理论一

有且仅有如下的解释模型g符合上面的3个属性和定义additive feature attribution方法：

可以看到上面的公式服从联合博弈论理论结果，其中∅_i就是Shapley values。

5 SHAP (SHapley Additive exPlanation) Values

6 实验结果

如下图，可以看出SHAP和人类认知更相近。

7 缺点：

1）耗时：随着特征的增加，特征可能组合的数量呈指数增长，增加了SHAP的计算时间；
2）可能的特征组合的选择顺序：通常目标与独立特征非线性相关，且独立特征之间也有一定相关性，这种情况下组合特征的选择顺序很重要，并影响SHAP value。