神经网络激活函数

1.Sigmoid

Sigmoid散活函数是将一个实数输入转化至 0 ~ 1 之间的输出， 具体来说也就是将越大的负数转化到越靠近 0 ，越大的正数转化到越靠近1。多用于二分类。

 

缺点：

   1）.Sigmoid 函数会造成梯度消失。一个非常不好的特点就是 Sigmoid 函数在靠近1和0 的两端时，梯度会几乎变成 0，会导致无法更新参数， 即梯度消失。

   2）. Sigmoid 输出不是以 O 为均值，这就会导致经过 Sigmoid 激活函数之后的输出，作为后面一层网络的输入的时候是非 0 均值的，这个时候如果输入进入下一层神经元的时候全是正的，这就会导致梯度全是正的，那么在更新参数的时候永远都是正梯度。