sigmoid是神经网络中常用的激活函数,其定义为：
σ
(
x
)
=
1
1
+
e
−
x
\sigma(x)=\frac {1}{1+e^{-x}}
σ(x)=1+e−x1
该函数的定义域为
(
−
∞
,
+
∞
)
(-\infty,+\infty)
(−∞,+∞)，值域为(0,1)，图一给出sigmoid函数的图像
且sigmoid的导函数还有如下的形式，所以在求对数求导是十分方便计算
σ
′
(
x
)
=
σ
(
x
)
[
1
−
σ
(
x
)
]
\sigma^{'}(x)=\sigma(x)[1-\sigma(x)]
σ′(x)=σ(x)[1−σ(x)]
可知l
l
o
g
σ
(
x
)
和
l
o
g
(
1
−
σ
(
x
)
)
的
导
函
数
分
别
为
log\sigma(x)和log(1-\sigma(x))的导函数分别为
logσ(x)和log(1−σ(x))的导函数分别为：
[
l
o
g
σ
(
x
)
]
′
=
1
−
σ
(
x
)
,
[
l
o
g
(
1
−
σ
(
x
)
]
)
′
=
−
σ
(
x
)
[log\sigma(x)]^{'}=1-\sigma(x),[log(1-\sigma(x)])^{'}=-\sigma(x)
[logσ(x)]′=1−σ(x),[log(1−σ(x)])′=−σ(x)
事实上，作为激活函数，在计算时，我们不用x取什么值就直接带进去，这会增大我们的计算量。
采用近似公式我们就可以减少计算量，提高计算效率
419
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
