常见四个激活函数特点

激活函数

Sigmoid函数

特点：
易造成梯度消失
输出非0均值，收敛慢
幂运算复杂，训练时间长

Tanh函数

tf.math.tanh(x)
特点
(1)输出是0均值
(2)易造成梯度消失
(3)幂运算复杂，训练时间长

Relu函数  分段函数

tf.nn.relu(x)
优点：
(1)解决了梯度消失问题（在正区间
(2)只需判断输入是否大于0，计算速度快
(3)收敛速度远快于sigmoid和tanh
缺点：
(1)输出非0均值，收敛慢
(2)Dead RelU问题：某些神经元可能永
被澈活，导致相应的参数永远不能被更新。

Leaky Relu函数

tf.nn.leaky_relu(x)
理论上来讲，Leaky Relu有Relu的所有优点，外加不会有Dead Relul问题，但是
在实际操作当中，并没有完全证eaky Relul总是好于Relu。

总结：
 

新手建议选择Relu函数