常见激活函数
- sigmoid
- tanh
- ReLU
1. sigmoid函数
f
(
x
)
=
σ
(
x
)
=
1
1
+
e
−
x
f(x)=\sigma(x)=\frac{1}{1+e^{-x}}
f(x)=σ(x)=1+e−x1
函数图像如下
将输出[-∞,+∞]限制在[0，1]之间，且函数变化平滑。
梯度：
f
′
(
x
)
=
σ
′
=
σ
(
1
−
σ
)
f^{'}(x)=\sigma^{'}=\sigma(1-\sigma)
f′(x)=σ′=σ(1−σ)
2.tanh函数
t
a
n
h
(
x
)
=
e
x
−
e
−
x
e
x
+
e
−
x
tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}
tanh(x)=ex+e−xex−e−x
函数图像
将输出[-∞,+∞]限制在[-1，1]之间，且函数变化平滑。（一般用于RNN等）
f
(
x
x
)
=
t
a
n
h
(
x
)
=
2
s
i
g
m
o
i
d
(
2
x
)
−
1
f(xx)=tanh(x)=2 sigmoid(2x)-1
f(xx)=tanh(x)=2sigmoid(2x)−1
梯度
f
′
(
x
)
=
1
−
t
a
n
h
2
(
x
)
f^{'}(x)=1-tanh^2(x)
f′(x)=1−tanh2(x)
3.ReLU函数
f
(
x
)
=
{
0
,
x
<
0
x
,
x
≥
0
f(x)=\left\{ \begin{aligned} 0, x \lt0\\ x,x \ge 0 \end{aligned} \right.
f(x)={0,x<0x,x≥0
函数图像
f
′
(
x
)
=
1
,
x
≥
0
f^{'}(x)=1,x \ge 0
f′(x)=1,x≥0
- 一般来说，优先选择ReLU函数。
扫一扫
1763
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
