weixin_44054052的博客

原创 论文笔记 （GAUSSIAN ERROR LINEAR UNITS (GELUS)）

一、介绍（introduce） 我们都知道激活函数可以避免网络形成深度线性分类器，RELU是其中的一个典型的代表激活函数，本文在ReLUs成功的基础上提出了GELUS，它利用ELUs的修正阳离子(Clevertetal.，2016)允许类似relu的非线性输出负值。 在前人的研究上，随机正则化与激活函数（非线性）分离，他们共同决定一个神经元的输出，而且，两者都不包含另一种，因为流行的随机正则化器分别与输入无关，而非线性得到了这些正则化器的帮助。 GELUS与随机正则化器有关，它是对dropout的一种