研究背景
神经网络的可解释性逐渐成为研究热点,本文的研究人员认为神经网络决策过程与人类认知过程也许有相似之处,并利用已经提出的人类认知过程假设来研究神经网络的决策过程。
主要贡献
- 本文从量化角度证明了神经网络识别时更偏好于识别形状而非颜色。
- 证明这种偏差在同结构但不同初始化的网络中存在极大差异,并且和分类正确率无关。引申结论即为不同初始化的网络具有不同的决策过程,即使分类正确率类似。(笔者认为类似于1000个人眼里有1000个哈姆雷特)
研究方法
1、假设验证
本文采用认知心理学中常用的一种实验方法,假设验证,即首先提出针对人认知过程的特点(如看物体的时候是看颜色还是看形状)的假设,后根据假设设计实验进行验证。本文利用该方法的优点在于认知心理学的研究中的假设已经很多,并且看起来都有理有据,只需要验证这些假设是否在神经网络中成立即可。
2、单样本学习(one-shot learning)
本文利用单样本学习进行实验。文中方法为给已经训练好的神经网络一个新的样本(probe image),观察网络将其分为已学习类别(support set)中的哪一类。其基础为默认神经网络学习到了support set中图片的特征,那么在学习新样本时便能根据特征相似度进行分类。
x ^ \widehat {x} x
, y ^ \widehat {y} y