神经网络激活函数？——再从感知机到 logistic regression 和 SVM

激活函数

将神经网络的输出非线性化的一种函数。

在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

（所以激活函数都是非线性函数，比如最常用的 sigmoid、tanh 和 ReLU）

理解为什么需要激活函数引入非线性性：

单层感知机：最常用的神经网络组成单元，用它可以划出一条线, 把平面分割开

那么很容易地我们就会想用多个感知机来进行组合, 获得更强的分类能力

但是，其输出无论如何都还是一个线性方程
但是要是在每一层之后加上一个激活函数
那么输出就变成非线性的了
使用非线性激活函数前(单位阶跃函数)后(sigmoid 函数)对比如下：

sigmoid

tanh

如上图所示，tanh的形状和sigmoid类似，只不过tanh将“挤压”输入至区间(-1, 1)。因此，中心为零，（某种程度上）激活值已经是下一层的正态分布输入了。至于梯度，它有一个大得多的峰值1.0（同样位于z = 0处），但它下降得更快，当|z|的值到达3时就已经接近零了。这是所谓梯度消失（vanishing gradients）问题背后的原因，会导致网络的训练进展变慢。

ReLU

ReLU处理了它的sigmoid、tanh中常见的梯度消失问题，同时也是计算梯度最快的激励函数。
如上图所示，ReLU是一头完全不同的野兽：它并不“挤压”值至某一区间——它只是保留正值，并将所有负值转化为零。使用ReLU的积极方面是它的梯度要么是1（正值），要么是0（负值）——再也没有梯度消失了！这一模式使网络更快收敛。另一方面，这一表现导致所谓的“死亡神经元”问题，也就是输入持续为负的神经元激活值总是为零。

感知机、 logistic regression 和 SVM的联系与区别

感知机

感知器是最简单的一种线性分类器，用f(x)表示分类函数，感知器可以如下来表示。

f(x)=sign(ωTx+b)

感知器相当于一个阶跃函数，如下图所示，在0处有一个突变。
损失函数：
L=−y(wTx+b)

logistic regression

f(x)=sigmoid(ωTx+b)，也即：

损失函数：
log(1+exp(−y(wTx+b)))

SVM

区别与联系

三者都是线性分类器，而logistic和svm是由感知器发展改善而来的。区别在于三者的损失函数不同，后两者的损失函数的目的都是增加对分类影响较大的数据点的权重，SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。

参考：
1.神经网络激励函数的作用是什么？有没有形象的解释？
https://www.zhihu.com/question/22334626
2.感知器、logistic与svm 区别与联系
https://blog.csdn.net/m0_37786651/article/details/61614865