Self-Normalizing Neural Networks
- 2017年9月
- SELU激活函数,SNN( self-normalizing neural networks)
- 约翰开普勒林茨大学【奥地利】
有望取代BN。
提出缩放指数线性单元(scaled exponential linear units,selu),根据该激活函数得到的网络具有自归一化功能(SNN)。经过该激活函数后使得样本分布自动归一化到0均值和单位方差。
用了97页证明在满足下面两条件时,使用该激活函数后使得样本分布满足零均值和单位方差:1)按照给定的参数对权重初始化:对于正态分布的初始化,初始化参数为0均值,方差为sqrt(1/n),n是输入的通道个数;2)使用selu。
公式: