常见的几种激活函数

假如没有激活函数，那么神经网络的变换只是矩阵之间的运算的线性变换，学习能力非常弱，不能满足对庞大数据集的识别与分类。使用激活函数就可以引入非线性特性，增强网络的学习容量。
另外，激活函数可以抑制某些不必要的信息输入，放大必要的信息。
最流行的激活函数类型
Sigmoid
Tanh
ReLu
leaky ReLu
Maxout
还有softmax激活函数用于输出层的分类。