Deep SHAP 深度学习模型的可解释性分析

1. 简介

Deep SHAP 算法是一种用于解释深度学习模型的技术, 该算法通过将每个特征的重要性与输出值相关联来进行解释。下面我们将详细介绍 Deep SHAP 的原理。

1.1 起源

Deep SHAP (SHapley Additive exPlanation) 是 Luca Ancona 等人在 2017 年提出的一种模型解释技术。它基于 Shapley 值的思想, 是一个 分散度量方法, 它用于解释复杂模型中特征对输出造成的影响。

1.2 基本思想

Deep SHAP 的核心思想是给出每个特征对决策函数的局部贡献度量, 这 个特征局部贡献的大小, 在所有特征组合的所有可能性中, 根据 Shapley 值确定。

2. 算法实现流程

Deep SHAP 算法的输入包括一个深度学习模型和一个样本 X。输出是特 征的重要性结果。
Deep SHAP 算法的过程包括以下几个关键步骤:

• 确定要解释的样本 ;
• 计算产生的收益及标签的实际预测值。
  为了更好的解释预测结果, 一个合理的参考值一般是在训练数据集上的基于平均值或中位值的预 测结果;
• 生成特征集合合集, 并根据交通指挥和合作博亦的思路, 计算每个 特征的 Shapley 值, 以确定每个特征对预测结果的贡献;
• 返回每个特征的 Shapley 值作为特征选取的解释, 解释特定的样本预测。

3. 基于Deep SHAP的MNIST 数据集可解释性测试

3.1 基于Tensorflow2的模型训练