深度学习 图示12种常见激活函数

所谓激活，实际上是对隐藏层或卷积层等等的输出结果做一次非线性映射。如果不用激活函数（其实就相当于激活函数是f(x)=x），这种情况下，每一层的输出都是上一层输入的线性函数。容易得出，无论有多少神经网络层，输出都是输入的线性组合，与没有隐层的效果是一样的，这就是最原始的感知机了。
常用的激励函数有：
Sigmoid函数
Tanh函数
ReLU
Leaky ReLU
ELU
Maxout
激活层建议：首先ReLU，因为迭代速度快，但是有可能效果不佳。如果ReLU失效的情况下，考虑使用Leaky ReLU或者Maxout，此时一般情况都可以解决。另外Tanh函数在文本和音频处理有比较好的效果。