激活函数
激活函数
Sigmoid
σ(x)=11+e−x
\sigma(x)=\dfrac{1}{1+e^{-x}}
σ(x)=1+e−x1
导数
σ′(x)=(1−σ(x))σ(x)
\sigma'(x)=(1-\sigma(x))\sigma(x)
σ′(x)=(1−σ(x))σ(x)
优点
将数值压缩到(0,1)(0,1)(0,1)之间
曲线平滑,便于求导
缺点
容易饱和输出,导致回传梯度消失,参数无法更新
不是零均值,wiw_iwi的梯度都是正数或者负数,梯度“之字形”更新,收敛满
exp函数计算
原创
2020-05-26 17:47:07 ·
164 阅读 ·
0 评论