深度学习可解释性方法的一些概念

理解和解释深度学习模型的决策过程和原理。

1 特征可视化

通过可视化神经网络的中间层来理解模型是如何识别和处理输入的，比如卷积核可视化是一种找到使某个卷积核输出最大的图像，从而理解该卷积核关注的特征的方法。

2 模型敏感性分析

通过改变输入并观察输出的变化来理解模型对输入的敏感度，例如，可以通过添加噪声或者移除某些特征，然后观察模型的输出是否发生变化，以此来理解哪些特征对模型的预测最重要。

3 局部可解释模型

局部可解释模型（LIME）通过在输入空间中采样，并在这些点上训练一个简单的模型（如线性模型），来近似原始模型的行为，然后通过解释这个简单模型来理解原始模型的行为。

4 深度学习解释器

（SHAP，DeepLIFT等算法）量化每个特征对模型输出的贡献的方法，这些方法可以帮助理解哪些特征对模型的预测最重要，从而提高模型的可解释性。

4.1 SHAP算法

传统的 feature importance 只告诉哪个特征重要，但并不清楚该特征如何影响预测结果。SHAP 算法的最大优势是能反应每一个样本中特征的影响力，且可表现出影响的正负性。SHAP算法的主要思想为：控制变量法，如果某个特征出现或不出现，直接影响分类结果，那么该特征一定是比较重要的。因此，可以通过计算该特征出现或不出现的各种情况，来计算其对于分类结果的贡献度。在 SHAP 算法中用沙普利（Shapley ）值表示不同特征对于预测结果的贡献度。Shapley 值是博弈论中使用的一种方法，它涉及公平地将收益和成本分配给在联盟中工作的行动者，由于每个行动者对联盟的贡献是不同的，Shapley 值保证每个行动者根据贡献的多少获得公平的份额。

4.2 DeepLIFT算法

DeepLIFT（Deep Learning Important Features）通过计算特征对模型预测的贡献来理解输入特征的重要性。DeepLIFT主要是为了解决梯度消失和梯度爆炸问题，提供比简单梯度方法更稳定和直观的解释。它具有以下优点：

• 更稳定：DeepLIFT通过使用参考基线和比例因子解决了梯度消失和梯度爆炸问题，比简单梯度方法更稳定。
• 直观解释：它提供了更直观的特征重要性解释，有助于理解模型的内部机制。

5 神经网络剪枝

一种可以简化模型的方法，它通过移除不重要的神经元或者连接来减少模型的复杂性。这样可以使模型更容易理解，从而提高其可解释性。

6 参考

[1] 深度学习的可解释性问题 – 夜明的孤行灯 (huangyunkun.com)