从生物神经网络到人工神经网络

如今提及人工智能，大家期待的一定是某种可以“学习”的方法，这种方法使用数学模型从数据中获取模式的某种表示。在众多“学习”方法中，获得最多关注，承载最多期望的非“神经网络”莫属。既然我们将这种数学方法称作神经网络，那么他必然和广泛存在于生物体内的神经网络存在某种联系。让我们考察一个典型的神经连接。

每个神经元（细胞）都向外伸出许多分支，其中用来接收输入的分支称作树突(dendrities)，用来输出信号的分支称作轴突(axon)，轴突连接到树突上形成一个突触(synapse)。每个神经元可以通过这种方式连接多个其他神经元，每个神经元也可以接受多个其他神经元的连接。很多连接起来的神经元形成了网状结构，海量具有传感和伸缩功能的体细胞通过神经纤维连接在这个网状结构的输入和输出端，中枢神经系统正是通过这种网状结构获得了“智能”，至少是驱动机体做出了趋利避害的选择。

模式识别中的分类问题就是一种典型的选择。看起来，这给出了一种解决分类问题的启示。但是这种网状结构是怎么工作的呢？生物学家已经观察到的事实是，当有外界刺激时，网络上的某些神经元会被次第激活。神经元被激活的意思是这个神经元会向外传递信号或者对外传递的信号强度较大。

为了便于利用，需要对激活过程建立数学模型。首先将目光聚焦在一个突触上，轴突释放递质被树突吸收或者电信号从树突传递到轴突就完成了信息的传递。如何表示突触传递的信息呢？给出选择是用一个数值来表示，这寓示着将信息只归为一个类别，并用数值的大小表示其数量方面的属性。这样粗暴的简化有意义吗？实际递质可是多种多样的啊[1]！显而易见将一个轴突的输出表示成一个多维向量才是更合理的。但是我们可以引入多个虚拟突触来实现这个多维向量的各个维度的信息的传递，既然都是同样结构的突触，为何不先只考察其中一个呢。