常见激活函数
sigmoid函数
f
(
x
)
=
1
1
+
e
−
x
;
(
0
<
f
(
x
)
<
1
)
f(x) = \frac{1}{1 + e^{-x}} ; (0<f(x)<1)
f(x)=1+e−x1;(0<f(x)<1)
sigmoid产生了一个0到1之间的平滑函数。有时需要观察在输入值略有变化时输出值发生的变化,而光滑的sigmoid函数能够做到这点。
tanh函数
f ( x ) = 1 − e − 2 x 1 + e − 2 x f(x) = \frac{1-e^{-2x}}{1+e^{-2x}} f(x)=1+e−2x1−e−2x
tanh比sigmoid有了一个更平滑的区间范围,其范围更广,但收敛速度更快。
ReLU函数
R e L U ( x ) = m a x ( x , 0 ) ; ReLU(x) = max(x , 0); ReLU(x)=max(x,0);
x>0时,x有了一个稳定的求导值,使得网络训练速度更快。
softmax函数
S i = e v i ∑ j n e v j ; S_{i} = \frac{e^{v_{i}}}{\sum_{j}^n e^{v_{j}}}; Si=∑jnevjevi;
softmax函数常用于分类问题,如果输入属于某一类的概率更大,则这个类的值更逼近于1,其他类的值就更逼近于0.