【阅读笔记】ON THE IMPORTANCE OF SINGLE DIRECTIONS FOR GENERALIZATION

本文通过perturbation analyses和quantifying class selectivity探讨神经网络中单一方向对模型泛化能力的影响。研究发现,网络对特定direction的依赖度与泛化性能密切相关,而类别选择性并不总是性能的决定因素。此外,BN和dropout似乎通过减少单一方向依赖来提升泛化。深度增加会增强类别选择性,但过高可能对性能有害。
摘要由CSDN通过智能技术生成

作者:
Ari S. Morcos, David G.T. Barrett, Neil C. Rabinowitz, & Matthew Botvinick
DeepMind
London, UK

ICLR 2018

发布时间:22 May 2018

这篇文章是来探究direction(可以简单理解为节点)的和某一类的对应程度和重要性程度的关系,试图给以神经网络学习出来的东西以解释性。

APPROACH

PERTURBATION ANALYSES

Ablations消融

用去除某一single direction,网络的性能降低的程度来衡量了direction对网络计算的重要性。对于MLPs,我们去除某个节点,对于卷积网络,我们去除一整特特征图。我们把他们称之为‘units’。
有意思的是我们发现将units的值置为平均值对网络性能的影响要大于直接置为0,如下图。

FA1

一个明显的推理是网络在低维激活子空间上越依赖,随着单个方向被消融,准确度将下降得越快。

Addition of noise

对每个unit加上均值为0的高斯白噪声来测试网络性能的下降。这样来测试网络对随机direction的依赖。(消融测试的是对coordinate-aligned single directions的影响)

QUANTIFYING CLASS SELECTIVITY

类别选择性: selectivity=μm

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值