神经网络激活函数？——再从感知机到 logistic regression 和 SVM

激活函数

将神经网络的输出非线性化的一种函数。

在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

（所以激活函数都是非线性函数，比如最常用的 sigmoid、tanh 和 ReLU）

理解为什么需要激活函数引入非线性性：

单层感知机：最常用的神经网络组成单元，用它可以划出一条线, 把平面分割开

那么很容易地我们就会想用多个感知机来进行组合, 获得更强的分类能力

但是，其输出无论如何都还是一个线性方程
但是要是在每一层之后加上一个激活函数
那么输出就变成非线性的了