通俗理解神经网络之激励函数(Activation Function)

本文整理自博客、知乎上关于激励函数的博客和回答。部分图片引用自知乎，如有侵权，请联系作者。

关于神经网络激励函数的作用，常听到的解释是：不使用激励函数的话，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达能力不够，激励函数可以引入非线性因素。 其实很多时候我们更想直观的了解激励函数的是如何引入非线性因素的。

我们使用神经网络来分割平面空间作为例子。

无激励函数的神经网络

神经网络最简单的结构就是单输出的单层感知机，单层感知机只有输入层和输出层，分别代表了神经感受器和神经中枢。下图是一个只有2个输入单元和1个输出单元的简单单层感知机。图中x₁、w₂代表神经网络的输入神经元受到的刺激，w₁、w₂代表输入神经元和输出神经元间连接的紧密程度，b代表输出神经元的兴奋阈值，y为输出神经元的输出。我们使用该单层感知机划出一条线将平面分割开，如图所示：

同理，我们也可以将多个感知机（注意，不是多层感知机）进行组合获得更强的平面分类能力，如图所示：

再看看包含一个隐层的多层感知机的情况，如图所示：

仔细看的话不难发现，上面三种没有激励函数的神经网络的输出是线性方程，其在用复杂的线性组合来逼近曲线。

有激励函数的神经网络

我们在神