Sigmoid函数求导
标签（空格分隔）： ML
sigmoid函数是神经网络中常用的激活函数之一，其定义为
σ
(
x
)
=
1
1
+
e
−
x
\sigma(x) = \frac{1}{1 + e^{-x}}
σ(x)=1+e−x1
该函数的定义域为
(
−
∞
,
+
∞
)
(-\infty,+\infty)
(−∞,+∞),值域为
(
0
,
1
)
(0,1)
(0,1)
sigmoid函数的导函数具有以下形式
σ
′
(
x
)
=
σ
(
x
)
[
1
−
σ
(
x
)
]
\sigma'(x) = \sigma(x)[1-\sigma(x)]
σ′(x)=σ(x)[1−σ(x)]
求导过程如下：
d
σ
(
x
)
d
(
x
)
=
d
(
(
1
+
e
−
x
)
−
1
)
d
(
x
)
=
e
−
x
(
1
+
e
−
x
)
2
=
σ
2
(
x
)
×
1
−
σ
(
x
)
σ
(
x
)
=
σ
(
x
)
[
1
−
σ
(
x
)
]
\frac{\mathrm{d}\sigma(x)}{\mathrm{d}(x)} = \frac{\mathrm{d}((1+e^{-x})^{-1})}{\mathrm{d}(x)} = \frac{e^{-x}}{(1+e^{-x})^2} = \sigma^2(x)\times\frac{1-\sigma(x)}{\sigma(x)} = \sigma(x)[1-\sigma(x)]
d(x)dσ(x)=d(x)d((1+e−x)−1)=(1+e−x)2e−x=σ2(x)×σ(x)1−σ(x)=σ(x)[1−σ(x)]
函数
l
n
σ
(
x
)
ln\sigma(x)
lnσ(x)和
l
n
(
1
−
σ
(
x
)
)
ln(1-\sigma(x))
ln(1−σ(x))的导函数分别为：
[
ln
σ
(
x
)
]
′
=
1
−
σ
(
x
)
,
[
ln
(
1
−
σ
(
x
)
)
]
′
=
−
σ
(
x
)
[\ln\sigma(x)]' = 1 - \sigma(x),[\ln(1-\sigma(x))]' = -\sigma(x)
[lnσ(x)]′=1−σ(x),[ln(1−σ(x))]′=−σ(x)
求导过程如下：
d
ln
σ
(
x
)
d
(
x
)
=
(
ln
1
)
′
−
(
ln
(
1
+
e
−
x
)
)
′
=
0
−
1
1
+
e
−
x
×
(
e
−
x
)
′
=
e
−
x
1
+
e
−
x
=
1
−
σ
(
x
)
\frac{\mathrm{d}\ln\sigma(x)}{\mathrm{d}(x)} = (\ln 1)' - (\ln(1 + e^{-x}))' = 0 - \frac{1}{1 + e^{-x}} \times (e^{-x})' = \frac{e^{-x}}{1+e^{-x}} = 1 - \sigma(x)
d(x)dlnσ(x)=(ln1)′−(ln(1+e−x))′=0−1+e−x1×(e−x)′=1+e−xe−x=1−σ(x)
d
ln
(
1
−
σ
(
x
)
)
d
(
x
)
=
(
ln
−
e
−
x
)
′
−
(
ln
(
1
+
e
−
x
)
)
′
=
−
1
+
e
−
x
1
+
e
−
x
=
−
σ
(
x
)
\frac{\mathrm{d}\ln(1-\sigma(x))}{\mathrm{d}(x)} = (\ln-e^{-x})' - (\ln(1+e^{-x}))' = -1 + \frac{e^{-x}}{1+e^{-x}} = -\sigma(x)
d(x)dln(1−σ(x))=(ln−e−x)′−(ln(1+e−x))′=−1+1+e−xe−x=−σ(x)
7759
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
