作者:
Ari S. Morcos, David G.T. Barrett, Neil C. Rabinowitz, & Matthew Botvinick
DeepMind
London, UK
ICLR 2018
发布时间:22 May 2018
这篇文章是来探究direction(可以简单理解为节点)的和某一类的对应程度和重要性程度的关系,试图给以神经网络学习出来的东西以解释性。
APPROACH
PERTURBATION ANALYSES
Ablations消融
用去除某一single direction,网络的性能降低的程度来衡量了direction对网络计算的重要性。对于MLPs,我们去除某个节点,对于卷积网络,我们去除一整特特征图。我们把他们称之为‘units’。
有意思的是我们发现将units的值置为平均值对网络性能的影响要大于直接置为0,如下图。
一个明显的推理是网络在低维激活子空间上越依赖,随着单个方向被消融,准确度将下降得越快。
Addition of noise
对每个unit加上均值为0的高斯白噪声来测试网络性能的下降。这样来测试网络对随机direction的依赖。(消融测试的是对coordinate-aligned single directions的影响)
QUANTIFYING CLASS SELECTIVITY
类别选择性: selectivity=μm