激活函数的作用
激活函数的引入是为了增加神经网络模型的非线性,没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数,无论神经网络多少层,输出都是输入的线性组合,就是最原始的感知机。
Softmax函数
又称为归一化指数函数,用于多分类过程中,将多个神经元的输出映射到
[
0
,
1
]
[0,1]
[0,1] 区间中。
假如有
n
n
n 个输出,分别为
V
1
∼
n
V_{1\sim n}
V1∼n ,则第
i
i
i 个输出的概率为:
S
i
=
e
i
∑
e
j
S_i=\frac{e^i}{\sum{e^j}}
Si=∑ejei
将输出转化为概率的过程:
- 通过指数函数,将输出转为 0 0 0 到 + ∞ + \infty +∞ 内;
- 把转化后的结果进行归一化。
ReLU函数
函数公式:
f
(
x
)
=
max
(
0
,
x
)
f(x)=\max(0,x)
f(x)=max(0,x)
函数图像:
Sigmoid函数
函数表达式:
f
(
x
)
=
1
1
+
e
−
x
f(x)=\frac{1}{1+e^{-x}}
f(x)=1+e−x1
函数图像:
tanh函数
函数方程:
f
(
x
)
=
e
x
−
e
−
x
e
x
+
e
−
x
f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}
f(x)=ex+e−xex−e−x
函数图像: