神经网络基础2：激活函数

不是所有信息都是有用的，一些只是噪音；激活函数可以帮助神经网络做这种隔离，激活有用的信息，并抑制无关的数据点。

以下将介绍神经网络中常用的几种激活函数：sigmoid、tanh、ReLu、leaky ReLu、PReLu、ELU、maxout、softmax，以及它们各自的特性。

记激活函数的输入z为上一层输出的线性组合，输入Z为上一层输出的多组不同的线性组合（vector）。

sigmoid

sigmoid函数是一个平滑函数，并且具有连续性和可微性；其输出值在(0,1)之间，可当做概率使用，可用于二分类模型输出层的激活函数；随着abs(z)越来越大，梯度会越来越小，在abs(z)>5之后梯度就基本接近0了；越是接近sigmoid的两端，相对z的改变，f(z)就越趋向于作出非常小的反应；sigmoid函数在其大部分定义域内都饱和，在这些饱和区域内梯度会很小或者消失了（由于值极小，无法做出显著的改变了），网络拒绝进一步学习，或者学习速度剧烈地变慢了，这种现象