本文介绍了几种常见的神经网络激活函数，包括Sigmoid、tanh、ReLU、Leaky ReLU和Softmax。Sigmoid和tanh存在梯度消失问题，ReLU因其线性特性加速了训练，但可能导致神经元死亡；Leaky ReLU是ReLU的改进版，解决负区梯度消失问题；Softmax用于多分类任务，输出概率分布。在选择激活函数时，优先考虑ReLU家族，避免使用sigmoid和tanh在隐藏层。
1.Sigmoid
Sigmoid散活函数是将一个实数输入转化至 0 ~ 1 之间的输出， 具体来说也就是将越大的负数转化到越靠近 0 ，越大的正数转化到越靠近1。多用于二分类。
缺点：
1）.Sigmoid 函数会造成梯度消失。一个非常不好的特点就是 Sigmoid 函数在靠近1和0 的两端时，梯度会几乎变成 0，会导致无法更新参数， 即梯度消失。
2）. Sigmoid 输出不是以 O 为均值，这就会导致经过 Sigmoid 激活函数之后的输出，作为后面一层网络的输入的时候是非 0 均值的，这个时候如果输入进入下一层神经元的时候全是正的&#x
458
3415
815
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
