本文探讨了深度学习中常见的激活函数，如sigmoid、tanh、elu、softplus、softsign、relu及其变体。这些函数各有特点，sigmoid和tanh易出现梯度消失问题，elu、softplus和softsign具有不同的平滑性，relu则常用于缓解梯度消失，而relu6限制了输出范围。文中还提及了这些函数的导数和饱和效应。
1.sigmoid函数：
S(x)=1/(1+exp(-x))
导数为：S(x)*(1-S(x))。这个数值不会超过0.25.。通过sigmoid函数计算的函数值在0~1之间，如果神经网络的层数很多，如果每一层的激励函数采用sigmoid函数，就会产生梯度弥散的问题。因为利用BP函数更新参数的时候，会乘以它的导数，所以会一直减小。并且在比较大或者比较小的时候，会产生饱和效应，导致神经元类似与死亡。
2.tanh函数
T(x) = (exp(x)-exp(-x))/(exp(x)+exp(-x))
导数：1-T(x)*T(x)
。tanh函数的值在-1~1之间。导数小于1.如果每一层用这个激励函数。会导致和sigmoid函数类似的情况。
3.elu函数
4.softplus函数
f(x)=ln(1+
2万+
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
