常见激活函数 & 激活函数选择方法

激活函数作用在更前面，损失函数是针对神经网络的输出进行评估，已经不在神经网络中了。

将输入信号的总和转换为输出信号，这种函数 一般称为激活函数（Activation Function)。激活函数的作用在于决定如何来激活输入信号的总和。

以输出层中第一个输出为例，

1、sigmoid函数

函数公式：
$$h(x)=\frac{1}{1+e^{-x}}$$
其中e是纳皮尔常数2.7182···

函数图像：

可以看到0.5是分界点

2、符号函数

和阶跃函数的区别？