深度学习的四种激活函数

深度学习的激活函数一般使用四种：分别为sigmoid、tanh、ReLu 、Leaky Relu。

ReLu（Z） = max（0，Z）

Leaky Relu（Z） = max（Z * 0.01，Z）

sigmoid 激活函数：除了输出层是一个二分类问题基本不会用它。 
tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。 
ReLu 激活函数：最常用的默认函数，，如果不确定用哪个激活函数，就使用ReLu 或者Leaky ReLu。

tanh 函数是sigmoid 的向下平移和伸缩后的结果。对它进行了变形后，穿过了(0,0)点，并且值域介于+1 和-1 之间。tanh 函数或者双曲正切函数是总体上都优于 sigmoid 函数的激活函数。

sigmoid 函数和 tanh 函数两者共同的缺点是，在