摘要
受神经科学研究成果的启发下,论文引入并定义了两种具有不同激活功能的人工神经网络神经元:兴奋性神经元和抑制性神经元,其网络可以通过学习,自适应地选择不同种类的神经元函数。论文在神经元定义(生物角度上定义)的基础上,不仅探讨了主流激活函数,而且还讨论了这些类型神经元之间的互补性。
此外,通过兴奋性神经元与抑制性神经元的共同作用,论文提出一种组合激活函数。
最后,论文希望能为未来的神经元激活函数设计提出一个指导方向,同时为生物学与计算机科学之间搭建桥梁,使得能从生物的角度解析当前的神经网络。
引言
有很多方法可以提升CNN的性能,粗略可以分别构建更深网络结构,改变非线性激活函数,预防过拟合技术。
在这些技术中ReLU激活函数的发明是深层神经网络得以成功的关键。它加速了学习过程,并减缓深层网络训练中的消失/爆炸梯度问题。
所以激活函数的重要性不言而喻,许多研究者提出了完善的激活函数来提高网络性能。
这些相似的工作大致可以分成两类:
1、修正ReLUs(如 Leaky ReLU,PReLU,Random ReLU(RReLU),ELU,PELU,MPELU),他们移除了负输入中零梯度
2、集成激活函数(例如,maxout[Goodfreer等人,2013年],自适应分段线性(APL)[Agostinelli等人,2014年],NIN[Lin等人,2013年],S-shape relu(Srelu)[jin等人,2015年],Concatenated relu(Crelu)
尽管激活功能普遍存在,但很少有人从神经证据的角度来关注它们的共同特性。在神经科学领域,大脑皮层有两种主要类型的神经元(即大脑表面):primary neuron为兴奋性神经元,relay neuron为抑制性神经元。在正常情况下,两种细胞相互调节,使大脑处于兴奋和抑制状态的动态平衡。
因此,在神经学知识的启发下,本文提出了两种具有不同激活功能的人工神经网络神经元:兴奋性神经元和抑制性神经元,用于神经元类型的选择。
在这些神经元的基础上,我们不仅统一分析了主流的激活函数,而且从神经科学的角度讨论了这些神经元类型之间的互补性。此外,通过兴奋性和抑制性神经元的协同作用,结果表明,所提出的激活函数对神经网络的训练有很好的效果,并在多个图像识别基准上达到了最先进的性能。