Diverse Neuron Type Selection for Convolution Neural Networks阅读笔记

摘要

受神经科学研究成果的启发下，论文引入并定义了两种具有不同激活功能的人工神经网络神经元：兴奋性神经元和抑制性神经元，其网络可以通过学习，自适应地选择不同种类的神经元函数。论文在神经元定义（生物角度上定义）的基础上，不仅探讨了主流激活函数，而且还讨论了这些类型神经元之间的互补性。
此外，通过兴奋性神经元与抑制性神经元的共同作用，论文提出一种组合激活函数。
最后，论文希望能为未来的神经元激活函数设计提出一个指导方向，同时为生物学与计算机科学之间搭建桥梁，使得能从生物的角度解析当前的神经网络。

---

引言

有很多方法可以提升CNN的性能，粗略可以分别构建更深网络结构，改变非线性激活函数，预防过拟合技术。
在这些技术中ReLU激活函数的发明是深层神经网络得以成功的关键。它加速了学习过程，并减缓深层网络训练中的消失/爆炸梯度问题。
所以激活函数的重要性不言而喻，许多研究者提出了完善的激活函数来提高网络性能。
这些相似的工作大致可以分成两类：
1、修正ReLUs（如 Leaky ReLU，PReLU，Random ReLU（RReLU），ELU，PELU，MPELU），他们移除了负输入中零梯度
2、集成激活函数(例如，maxout[Goodfreer等人，2013年]，自适应分段线性(APL)[Agostinelli等人，2014年]，NIN[Lin等人，2013年]，S-shape relu(Srelu)[jin等人，2015年]，Concatenated relu(Crelu)
尽管激活功能普遍存在，但很少有人从神经证据的角度来关注它们的共同特性。在神经科学领域，大脑皮层有两种主要类型的神经元(即大脑表面)：primary neuron为兴奋性神经元，relay neuron为抑制性神经元。在正常情况下，两种细胞相互调节，使大脑处于兴奋和抑制状态的动态平衡。
因此，在神经学知识的启发下，本文提出了两种具有不同激活功能的人工神经网络神经元：兴奋性神经元和抑制性神经元，用于神经元类型的选择。
在这些神经元的基础上，我们不仅统一分析了主流的激活函数，而且从神经科学的角度讨论了这些神经元类型之间的互补性。此外，通过兴奋性和抑制性神经元的协同作用，结果表明，所提出的激活函数对神经网络的训练有很好的效果，并在多个图像识别基准上达到了最先进的性能。

---

相关工作