激活函数：将神经元的工作一般化

本节我们试着将神经元的工作在数学上一般化。

为了更接近神经元的形象， 1-2 节中将神经元表示为了下图的样子。

然而，为了画出网络，需要画很多的神经元，在这种情况下上面那样的图就不合适了。因此，我们使用如下所示的简化图，这样很容易就能画出大量的神经元。

激活函数

将神经元的示意图抽象化之后，对于输出信号，我们也对其生物上的限制进行一般化。

根据点火与否，生物学上的神经元的输出 分别取值 1 和 0 （下图）。

然而，如果除去 “ 生物 ” 这个条件，这个 “0 和 1 的限制 ”也应该是可以解除的。这时表示点火与否的下式就需要修正。

这里，u 是单位阶跃函数。我们将该式一般化，如下所示。

 

 

 

这里的函数是建模者定义的函数，称为激活函数。

 

将神经元点火的式 (1) 一般化为神经单元的激活函数式 (2) ，要确认这样做是否有效，就要看实际做出的模型能否很好地解释现实的数据。实际上，式 (2) 表示的模型在很多模式识别问题中取得了很好的效果。

激活函数的代表性例子是 Sigmoid 函数

先来看看它的图形，Sigmoid 函数的输出值是大于 0 小于 1 的任意值。此外，该函数连续、光滑，也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。