激活函数
Sigmoid函数
特点:
易造成梯度消失
输出非0均值,收敛慢
幂运算复杂,训练时间长
Tanh函数
tf.math.tanh(x)
特点
(1)输出是0均值
(2)易造成梯度消失
(3)幂运算复杂,训练时间长
Relu函数 分段函数
tf.nn.relu(x)
优点:
(1)解决了梯度消失问题(在正区间
(2)只需判断输入是否大于0,计算速度快
(3)收敛速度远快于sigmoid和tanh
缺点:
(1)输出非0均值,收敛慢
(2)Dead RelU问题:某些神经元可能永
被澈活,导致相应的参数永远不能被更新。
Leaky Relu函数
tf.nn.leaky_relu(x)
理论上来讲,Leaky Relu有Relu的所有优点,外加不会有Dead Relul问题,但是
在实际操作当中,并没有完全证eaky Relul总是好于Relu。
总结:
新手建议选择Relu函数