常用的激活函数有：
-
s i g m o i d ( x ) = 1 1 + e − x sigmoid(x)=\frac{1}{1+e^{-x}} sigmoid(x)=1+e−x1
- 导数： s ′ = s ( 1 − s ) s^{'}=s(1-s) s′=s(1−s) -
t a n h ( x ) = e x − e − x e x + e − x tanh(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}} tanh(x)=ex+e−xex−e−x
- 导数： f ′ = 1 − f 2 f^{'}=1-f^2 f′=1−f2 -
ReLu or Leaky ReLu： f ( x ) = m a x ( 0 , x ) f(x)=max(0,x) f(x)=max(0,x) or f ( x ) = m a x ( α x , x ) f(x)=max(\alpha x,x) f(x)=max(αx,x)
- 例如 α \alpha α取 0.01 0.01 0.01 -
ELU(Exponential Linear Units)
-
MaxOut
这里写得不错.
扫一扫
404
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
