激活函数的作用
激活函数的主要作用是在神经网络中引入非线性因素。
常见的三种激活函数
这三种激活函数的公式分别为：
sigmoid：
f
(
x
)
=
1
1
+
e
−
x
f(x)=\frac{1}{1+e^{-x}}
f(x)=1+e−x1
tanh：
f
(
x
)
=
e
x
−
e
−
x
e
x
+
e
−
x
f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}
f(x)=ex+e−xex−e−x
ReLU：
f
(
x
)
=
m
a
x
(
0
,
x
)
f(x)=max(0,x)
f(x)=max(0,x)
| sigmoid | tanh | ReLU | |
|---|---|---|---|
| 梯度消失 | 容易造成 | 也容易造成，但优于sigmoid | 可以减缓，优于前两者 |
| 常见应用 | 二分类任务 | RNN网络 | CNN网络 |
| 优点 | 函数平滑，容易求导 | ①函数平滑，容易求导 ②输出关于零点对称 | ①求导更快，收敛更快 ②有效缓解了梯度消失问题 ③增加网络的稀疏性 |
| 缺点 | ①容易造成梯度消失 ②存在幂运算，计算量大 ③其输出不关于零点对称 | ①容易造成梯度消失 ②同样存在计算量大的问题 | 容易造成神经元的“死亡” |
| 图形 |
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
