«深入浅出深度学习——原理剖析与Python实践»黄安埠Page220
Sigmoid函数
Sigmoid 是常用的非线性的激活函数，它的数学形式如下：
f
(
z
)
=
1
1
+
e
−
z
f(z)=\frac{1}{1+e^{-z}}
f(z)=1+e−z1
Sigmoid的几何图像如下：
导数图像：
tanh函数
tanh读作Hyperbolic Tangent，函数解析式：
t
a
n
h
(
x
)
=
e
x
−
e
−
x
e
x
+
e
−
x
tanh(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}
tanh(x)=ex+e−xex−e−x
tanh函数及其导数的几何图像如下图：
Relu函数
Relu函数的解析式：
R
e
l
u
=
m
a
x
(
0
,
x
)
Relu=max(0,x)
Relu=max(0,x)
Relu函数及其导数的图像如下图所示：
Leaky ReLU函数（PReLU）
函数表达式：
f
(
x
)
=
m
a
x
(
α
x
,
x
)
f(x)=max(αx,x)
f(x)=max(αx,x)
Leaky Relu函数及其导数的图像如下图所示：
ELU (Exponential Linear Units) 函数
函数表达式：
f
(
x
)
=
{
x
,
if
x
>
0
α
(
e
x
−
1
)
,
otherwise
f(x)= \begin{cases} x, & \text {if $x>0$} \\ \alpha(e^x-1), & \text{otherwise}\end{cases}
f(x)={x,α(ex−1),if x>0otherwise
函数及其导数的图像如下图所示：
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
