常见激活函数
sigmoid函数
f
(
x
)
=
1
1
+
e
−
x
;
(
0
<
f
(
x
)
<
1
)
f(x) = \frac{1}{1 + e^{-x}} ; (0<f(x)<1)
f(x)=1+e−x1;(0<f(x)<1)
sigmoid产生了一个0到1之间的平滑函数。有时需要观察在输入值略有变化时输出值发生的变化，而光滑的sigmoid函数能够做到这点。
tanh函数
f ( x ) = 1 − e − 2 x 1 + e − 2 x f(x) = \frac{1-e^{-2x}}{1+e^{-2x}} f(x)=1+e−2x1−e−2x
tanh比sigmoid有了一个更平滑的区间范围，其范围更广，但收敛速度更快。
ReLU函数
R e L U ( x ) = m a x ( x , 0 ) ; ReLU(x) = max(x , 0); ReLU(x)=max(x,0);
x>0时，x有了一个稳定的求导值，使得网络训练速度更快。
softmax函数
S i = e v i ∑ j n e v j ; S_{i} = \frac{e^{v_{i}}}{\sum_{j}^n e^{v_{j}}}; Si=∑jnevjevi;
softmax函数常用于分类问题，如果输入属于某一类的概率更大，则这个类的值更逼近于1，其他类的值就更逼近于0.
4294
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
