神经网络实验的心得_积分梯度：一种新颖的神经网络可视化方法

©PaperWeekly 原创 · 作者｜苏剑林

单位｜追一科技

研究方向｜NLP、神经网络

本文介绍一种神经网络的可视化方法：积分梯度(Integrated Gradients)，它首先在论文 Gradients of Counterfactuals [1] 中提出，后来 Axiomatic Attribution for Deep Networks [2] 再次介绍了它，两篇论文作者都是一样的，内容也大体上相同，后一篇相对来说更易懂一些，如果要读原论文的话，建议大家优先读后一篇。

当然，它已经是 2016-2017 年间的工作了，“新颖”说的是它思路上的创新有趣，而不是指最近发表。

所谓可视化，简单来说就是对于给定的输入 x 以及模型 F(x)，我们想办法指出 x 的哪些分量对模型的决策有重要影响，或者说对 x 各个分量的重要性做个排序，用专业的话术来说那就是“归因”。一个朴素的思路是直接使用梯度 来作为 x 各个分量的重要性指标，而积分梯度是对它的改进。 然而，笔者认为，很多介绍积分梯度方法的文章(包括原论文)，都过于“生硬”(形式化)，没有很好地突出积分梯度能比朴素梯度更有效的本质原因。本文试图用自己的思路介绍一下积分梯度方法。

朴素梯度 首先，我们来学习一下基于梯度的方法，其实它就是基于泰勒展开：

我们知道 是大小跟 x 一样的向量，这里 为它的第 i 个分量，那么对于同样大小的 ， 的绝对值越大，那么 相对于 的变化就越大，也就是说： 衡量了模型对输入的第 i 个分量的敏感程度，所以我们用 作为第 i 个分量的重要性指标。 这种思路比较简单直接，在论文 How to Explain Individual Classification Decisions  [3] 和 Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps  [4] 都有描述，在很多时候它确实也可以成功解释一些预测结果，但它也有明显的缺点。 很多文章提到了饱和区的情况，也就是一旦进入到了饱和区(典型的就是 的负半轴)，梯度就为 0 了，那就揭示不出什么有效信息了。 从实践角度看，这种理解是合理的，但是笔者认为还不够深刻。从之前的文章对抗训练浅谈：意