- 博客(1)
- 收藏
- 关注
原创 论文笔记 (GAUSSIAN ERROR LINEAR UNITS (GELUS))
一、介绍(introduce) 我们都知道激活函数可以避免网络形成深度线性分类器,RELU是其中的一个典型的代表激活函数,本文在ReLUs成功的基础上提出了GELUS,它利用ELUs的修正阳离子(Clevertetal.,2016)允许类似relu的非线性输出负值。 在前人的研究上,随机正则化与激活函数(非线性)分离,他们共同决定一个神经元的输出,而且,两者都不包含另一种,因为流行的随机正则化器分别与输入无关,而非线性得到了这些正则化器的帮助。 GELUS与随机正则化器有关,它是对dropout的一种
2021-10-06 16:14:05 854
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人