神经网络激活函数

激活函数分为两大类：饱和函数和非饱和函数。

非饱和函数的优点：
(1)"非饱和激活函数”能解决所谓的“梯度消失”问题；
(2)它能加快收敛速度。
常见的饱和函数：sigmoid、tanh；
常见的非饱和函数：ReLU等。

1.sigmoid

sigmoid函数将一个实值输入压缩至[0,1]的范围。

函数图像如下：

sigmoid的不足：
1.容易出现梯度消失；
2.函数输出不是零中心；
3.指数函数的计算是比较消耗计算资源的。

tanh

tanh与si