sigmoid函数特性

sigmoid函数特性

（1）定义域为R
（2）值域为（0,1）
（3）函数在定义域内为连续和光滑的函数
（4）处处可导，且导函数满足S’(x)=S(x)(1-S(x))
（5）S形函数，中间梯度大，越趋近于两端梯度越小，容易梯度消失。
（6）导数值域为(0,0.25]

Sigmoid函数由下列公式定义

图形如下：

优点：平滑、易于求导。
缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。