机器学习算法——神经网络1（神经元模型）

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

神经网络中最基本的成分是神经元（neuron）模型。即上述定义中的“简单单元”。

在生物神经网络中，每个神经元与其他申请元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。

1943年，McCulloch and Pitts将上述情形抽象为下图所示的简单模型，这就是一直沿用至今的“M-P神经元模型”。

图1 M-P神经元模型

在这个神经元模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。

激活函数有以下两种，其中（a）图的跃阶函数是理想中的激活函数，它将输入值映射为输出值“0”或“1”，显然“1”对应神经元兴奋，“0”对应神经元抑制。然而跃阶函数具有不连续、不光滑等不太好的性质。

实际常用sigmoid函数作为激活函数，如（b）图所示。它把可能在较大范围内变化的输入值挤压到（0，1）输出值范围内，因此也称为“挤压函数”。

把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。

事实上，我们可以先不考虑神经网络是否真的模拟了生物神经网络，只需将一个神经网络视为包含了许多参数的数学模型，这个模型是若干个函数。

有效的神经网络学习算法大多以数学证明为支持。