激活函数的作用
激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机。
Softmax函数
又称为归一化指数函数，用于多分类过程中，将多个神经元的输出映射到
[
0
,
1
]
[0,1]
[0,1] 区间中。
假如有
n
n
n 个输出，分别为
V
1
∼
n
V_{1\sim n}
V1∼n ，则第
i
i
i 个输出的概率为:
S
i
=
e
i
∑
e
j
S_i=\frac{e^i}{\sum{e^j}}
Si=∑ejei
将输出转化为概率的过程：
- 通过指数函数，将输出转为 0 0 0 到 + ∞ + \infty +∞ 内；
- 把转化后的结果进行归一化。
ReLU函数
函数公式：
f
(
x
)
=
max
(
0
,
x
)
f(x)=\max(0,x)
f(x)=max(0,x)
函数图像：
Sigmoid函数
函数表达式：
f
(
x
)
=
1
1
+
e
−
x
f(x)=\frac{1}{1+e^{-x}}
f(x)=1+e−x1
函数图像：
tanh函数
函数方程：
f
(
x
)
=
e
x
−
e
−
x
e
x
+
e
−
x
f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}
f(x)=ex+e−xex−e−x
函数图像：
650
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
