激活函数的导数( Derivatives of activation functions)
Sigmoid函数
导数为:
tanh函数
导数为:
Relu函数
在z=0时,通常给定导数1,0,当然z=0的情况很少。
Leaky Relu函数
在z=0时,通常给定导数1,0.01,当然z=0的情况很少。
导数为:
导数为:
在z=0时,通常给定导数1,0,当然z=0的情况很少。
在z=0时,通常给定导数1,0.01,当然z=0的情况很少。
转载于:https://www.cnblogs.com/xiaojianliu/articles/9526670.html