1.激活函数的发展
sigmoid 会饱和,造成梯度消失 --》ReLU
ReLU 负半轴是死区,梯度为0 --》LeakyReLU, PReLU
强调梯度和权值分布的稳定性 --》ELU, 以及较新的SELU
网络结构太深,梯度无法传播 --》highway
干脆不要highway参数,变成残差 --》ResNet
2.激活函数的特性:
- 非线性:导数不是常数。这是多层神经经网络的基础,保证多层网络不退化成单层线性网络。也是激活函数的意义所在。
- 几乎处处可微:保证了优化过程中,梯度的可计算性。(SGD无法收敛到梯度接近0的位置因此有限点处不可微影响不大)
- 计算简单:激活函数在神经网络向前的计算次数与神经元的个数成正比 --》ReLU