人工智能 神经网络 激活函数

激活函数，提供非线性能力。

1. softmax：

  多分类，他有互斥性，是概率问题。 当分类为2的时候，会退化成sigmod.   

 

2.  SIGMOD函数，二分类将数据压缩到0-1之间， 横轴0点对称，以用来做二分类，有饱和区间所以一般用在输出层

优点：平滑、易于求导。

缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。

Sigmoid函数由下列公式定义

其对x的导数可以用自身表示：

Sigmoid函数的图形如S曲线