激活函数理解

1 激活函数的理解

激活函数的主要作用是提供网络的非线性建模能力。

如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。

激活函数的主要特性是：可微性(可导)、单调性(参考)、输出值的范围可控(参考)； 常见的激活函数：Sign函数、Sigmoid函数、Tanh函数、ReLU函数、P-ReLU函数、Leaky-ReLU函数、ELU函数、Maxout函数等

2 常见的三种激活函数定义及图像