神经网络中的激活函数

为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：

1. 连续并可导（允许少数点上不可导）的非线性函数，可导的激活函数可以直接利用数值优化的方法来学习网络参数。
2. 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
3. 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

在神经网络中常用的激活函数

Sigmoid型激活函数

Sigmoid型函数是指一类S型曲线函数，为两端饱和函数（见文末解释什么是两端饱和函数）。常用的Sigmoid型函数有Logistic函数和Tanh函数。

Sigmoid型函数的图像如下：

 

Logistic函数公式及其导数为：

Logistic函数可以看成是一个“挤压”函数 ，把一个实数域的输入"挤压”到（0，1）.当输入值在0附近时，sigmoid型函数近似为线性函数；当输入值靠近两端时，对输入进行抑制。输入越小，越接近于0；输入越大，越接近于1。因为