sigmoid:
f
(
x
)
=
1
1
+
e
−
x
f(x)= {\frac{1}{1+e^{-x}}}
f(x)=1+e−x1
logsigmoid:
使用sigmoid可能会有梯度消失问题，logsigmoid不会
f
(
x
)
=
log
(
1
1
+
e
−
x
)
f(x)= \log{({\frac{1}{1+e^{-x}}})}
f(x)=log(1+e−x1)
softmax:
这个不好画图吧，这分母和所有的
S
i
S_i
Si都有关
用于多分类问题，所有概率的和为1
tanh
relu
r
(
x
)
=
m
a
x
(
0
,
x
)
r(x) = max(0,x)
r(x)=max(0,x)
softplus
f
(
x
)
=
log
(
1
+
e
x
)
f(x) = \log{(1+e^x)}
f(x)=log(1+ex)
一定会越来越完整的
2659
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
