激活函数

在神经元中，输入通过加权、求和后，还被作用了一个函数，这个函数就是激活函数（又称激励函数）。通常，激活函数需要非线性的。

一、激活函数作用

激活函数可以引入非线性特性，使神经网络可以任意逼近任何非线性函数，使模型表达能力更强。

备注1：如果不使用激活函数或者使用线性激活函数（线性激活函数又称恒等激励函数），每层的输出都是输入的线性函数，不论神经网络有多少隐藏层，一直在做的是计算线性函数（仍是最原始的感知机）。

备注2：激活函数作用直观感受如图1-1、图1-2所示。