【可解释】|深层网络的公理化属性（Axiomatic Attribution for Deep Networks）

Axiomatic Attribution for Deep Networks, ICML 2017

研究了将深层网络的预测归因于其输入特征的问题, 简单的说就是通过研究输入与输出的关系，去理解模型的输入-输出行为。

并定义归因应该满足的2个基本公理，敏感性和实现不变性

作者发现其他关于特征归因方法的文献中，对于2条公理，至少有一条是不满足的。
这些文献包括
DeepLift (Shrikumar et al., 2016; 2017), Layer-wise relevance propagation (LRP) (Binder et al., 2016), Deconvolutional networks (Zeiler & Fergus, 2014), and Guided back-propagation (Springenberg et al., 2014).

基于这两条公理，作者提出了新的归因方法，积分梯度。

公理：敏感性
一个归因方法对于所有的输入和基准输入都应该满足敏感性，即对不同的输入特征，产生不同的预测结果时，这个不同的特征所对应的归因（属性）非0。

公理：实现不变性
如果两个完全不同的方式实现的网络对于所有输入，输出都相等，则两个网络在功能上是等效的。归因方法应该满足实现不变性，对于2个功能完全相同的网络，归因应该保持一致。

积分梯度法从通过对梯度沿不同路径积分，期望得到非饱和区非零梯度对决策重要性的贡献。沿着这条路径缩放时，哪些像素最能增加正确类别的网络输出？通过在路径上积分，积分梯度避免了局部梯度饱和的问题。

原始积分梯度法使用纯黑图片，噪声图片作为积分基线。Distill 尝试了4种不同的积分基线。积分路径一般选作线性插值，不知到是否有人考虑过选择不同的插值函数做积分路径。

ref
https://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247590903&idx=4&sn=8b2cda04da6ed8b3761e63d4abf3865e&chksm=fb54811bcc23080d6b43608cc2c43cb3be4c838b7623bbdf145789e6127d0af774089ecb3c3c&scene=126&&sessionid=0

https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/107828644

https://distill.pub/2020/attribution-baselines/