[深度学习] 神经网络中的激活函数（Activation function）

20180930 在研究调整FCN模型的时候，对激活函数做更深入地选择，记录学习内容

激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

• 线性激活函数：最简单的linear function就是f(x) = x，不对输入进行修改就直接输出
• 非线性激活函数：这些函数用于对不可线性分离的数据进行分离，是最常用的激活函数。非线性方程控制从输入到输出的映射。常用的非线性激活函数的例子是Sigmoid，tanH，ReLU，LReLU，PReLU，Swish等。

使用激活函数的原因

参考 https://www.zhihu.com/question/22334626

• 单层感知机 Perceptron

这是一个单层的感知机，也是我们最常用的神经网络组成单元，用它可以在平面中划出一条线，把平面分割开，进行二分类。

• 多感知机组合 Perceptron

多个感知机组合，能够在平面中进行更复杂的分割，获得更强的分类能力。

由感知机的结构来看，如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，无法直接进行非线性分类