人工神经网络概述

一. 生物神经系统及构成

近几十年来，神经科学和脑功能的研究快速发展，并取得了很大进展。神经科学主要研究生物神经系统的结构、功能和发育等，对生物行为及学习的研究都属于神经科学的分支。人脑是人类智能与高级精神活动的生理基础，其研究涉及分子层面、细胞层面、神经元群体和神经系统等多个领域，人的思想、信仰、记忆、行为和情感等都与脑密不可分。通过对脑的结构与功能的研究，提示脑进行思维活动的本质，建立脑模型，极大地促进了智能科学的发展。

神经元(neuron)作为一种高度特化的细胞，是构成神经系统的基本功能单元。虽然各类神经组织的功能不同，神经元类型存在差异，各种神经元细胞的形态、体积也各不相同，但神经元在结构上相对比较简单，所有神经元细胞都具有相似的结构和基本特性。一个典型的生物神经元主要包括如下几个部分：①细胞体(soma)，这是神经元的核心，由细胞核、细胞质和细胞膜等组成，负责处理接受到的信号；②树突(dendrite)，指从神经元细胞体向外伸出的许多较短的分支，它们充当着神经元的输入端，接受来自其他神经元的神经冲动并传递给细胞体；③轴突(axon)，指由神经元细胞体向外伸出的一条最长的分支，它是管状纤维组织，充当神经元的输出端，在轴突末端有很多神经末梢，它们向外发出神经活动。

神经元之间进行信息传递时，由神经元传出的脉冲信号通过轴突到达轴突末梢，这使得其中的囊泡产生变化而释放神经递质，神经递质通过突触的间隙进入另一个神经元的树突中。树突上的受体能够接受神经递质，从而改变细胞膜对离子的通透性，使细胞膜内外离子浓度差产生变化，最终导致细胞膜电位发生变化。当神经元通过树突接受来自其他神经元发放的脉冲信号时，膜电位在开始时随着时间的增加而连续变化。当膜电位的变化超过一个阈值时，才产生突变上升的脉冲，这个脉冲几乎可以不衰减地沿着轴突传递到其他神经元。神经元的这种膜电位高达一定阈值才产生脉冲传递的特性称为阈值特性。对神经元细胞的研究结果表明，神经元对来自其他神经元的信息具有时空整合特性。在神经网络结构上，大量不同神经元的轴突末梢可以到达同一个神经元的树突并形成大量突触。来源不同的突触所释放的神经递质都可以对同一个神经元的膜电位变化产生作用。因此，在树突结构上神经元可以对不同来源的输入信息进行整合，这就是神经元对信息的空间整合特性。此外，对于来自同一个突触的脉冲信息，神经元可以对不同时间输入的信息进行整合，故神经元对信息有时间整合特性。

实际上，神经元之间信息的传递是一个数-模(digital to analog, D/A)、模-数(analog to digital, A/D)转换的过程。从神经元轴突上传递的信息是等幅、恒宽、编码的离散脉冲信号，可以看成是一个数字量信号。但在突触中神经递质的释放和树突中膜电位的变化是连续的模拟量，说明突触具有 D/A 功能。在神经元细胞体的膜电位高于一定阈值时，则又变成电脉冲方式由轴突传递过去，这个过程说明神经元具有 A/D 功能。很明显，信息通过一个神经元传递时，神经元对信息执行了 D/A、A/D的转换过程。

二. 人工神经网络的定义

人工神经网络作为人工智能的一个重要分支，采用广泛互连的结构与有效的学习机制来模拟人脑信息处理的过程，是当前类脑智能研究中的有效工具。对人工神经网络的研究，实现其功能重点需要解决两方面的问题：

1. 信息的编码方式以及信息在网络中从突触前神经元到突触后神经元的流动机制；
2. 通过网络结构和突触权值的调整使得特定代价或误差函数最小化的学习机制；

人工神经网络从信息处理的角度对生物神经系统进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络，在工程与学术界也常简称为神经网络。神经网络是一种并行的运算模型，由大量的神经节点（或称神经元）相互连接构成。每个节点代表一种特定的输出函数，称为激活函数（activation function）。每两个节点间的连接都代表通过该连接信号的加权值，称为连接权值（connection weight），这相当于人工神经网络的记忆。遵照生物神经系统的结构特征和突触可塑性机制，设计人工神经网络的计算结构和学习规则，使其具有自学习与自组织等智能行为，能够使机器具有一定程度上的智能水平。人工神经网络模型的输出根据网络的连接方式、连接权值和激活函数的不同而不同，通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

基于现代神经科学的研究成果，构建的人工神经网络即是高度非线性动力学系统，又是自适应信息处理系统，可用来描述认知、决策及控制的智能行为，中心问题是智能的模拟和认识。人工神经网络具有以下几个基本特征。

1. 信息处理的高度并行性。从解剖学和生理学的角度来看，生物的神经系统是一个复杂的并行系统，它不同于传统的冯诺依曼型体系结构的计算机。人工神经网络的各组成部分同时参与运算，单个神经元的运算速度并不高，但总体的处理速度极快，是巨量信息并行处理和大规模并行计算的基础。
2. 具有复杂的非线性特征。非线性关系是自然界的普遍特性，大脑的智慧就是一种非线性现象。构成人工神经网络的神经元是一种非线性的处理单元，只有当神经元对所有输入信号的整理结果超过某个阈值后才输出一个信号。具有阈值特性的神经元构成的神经网络具有更好的性能，可以提高容错性和存储容量。因此，人工神经网络是一种具有复杂非线性特征的超大规模连续时间动力学系统。
3. 具有联想记忆存储功能。联想记忆存储是人脑的特有功能之一，如同出于仿生学的考虑一样，如何在人工计算模型上实现该功能一直是人工智能领域的研究重点之一。在人工神经网络中，知识与信息都等势分布存储于整个网络内的各神经元及其连接权值上，表现为神经元之间分布式的物理信息。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息，具有一定的联系记忆能力。在处理自然语言处理理解、模式识别、机器人控制，以及不完整信息等方面具有优势。
4. 具有自组织、自学习能力。人工神经网络可以根据外界环境的输入信息改变突触连接强度，重新调整神经元之间的相互关系，从而达到自适应于环境变化的目的。人工神经网络不但对处理的信息可以有多种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化，经常采用迭代过程描述动力系统的演化过程。因此，人工神经网络具有自适应、自组织、自学习能力。
5. 具有多平衡态的非凸性。一个系统 的演化方向在一定条件下将取决于某个特定的状态函数。例如，能量函数的极值相对于系统具有比较稳定的状态。非凸型是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。
6. 具有鲁棒性和容错性。生物神经系统不会由于个别神经元的损失而失去对原有模式的记忆能力，在人工神经网络中，每个神经元及其连接只表示一部分信息，而不是一个完整的具体概念。神经网络信息处理的结果通过突触连接强度的变化进行映射，神经网络功能的实现只要求满足部分条件，当个别神经元失效时，整个网络仍能正常工作，人工神经网络具有鲁棒性和容错性。

人工神经网络是一种非程序化、适应性、具有大脑风格的信息处理模型，其本质是通过网络结构和连接权值的变化和动力学行为得到一种并行分布式的信息处理能力，并在不同程度和层次上模仿人脑神经系统的信息处理能力。

三. 人工神经网络的发展

近几十年来，针对人工神经网络的学术研究非常活跃，共提出上百种神经网络模型，并涉及模式识别、联想记忆、信号处理、自动控制、组合优化、故障诊断及计算机视觉等众多应用领域，取得了引人注目的进展。虽然出现了很多人工神经网络的计算模型，但从人工神经元对生物神经元的抽象建模过程和对神经信息的编码机制来看，可将人工神经网络模型分为三代。

1. 第一代人工神经网络

第一代神经网络可以追溯到1943年美国神经心理学家McCulllch和数学家Pitts提出的MP模型，其输出为布尔逻辑变量。他们一方面归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及由这些人工神经元互连形成的人工神经网络，创建了第一个模拟生物神经系统的神经计算模型；另一方面，他们有关“适当的神经连接和神经元阈值使大脑内神经元的活动成为被感知的外部世界的一切初始命题的有限逻辑集合”的深刻科学思想也成为后来脑理论发展的基础。

后来美国计算机科学家Rosenblatt提出感知器（perception）的概念，并用电路实现，用来模拟生物的感知和学习能力。之后又提出了感知器模型，它是一种多层的神经网络，掀起了神经网络研究的第一个高潮。随着对感知器研究的逐渐深入，Minsky等从数学的角度分析了以简单感知器为代表的神经网络系统的功能及其局限性，在Perceptions一书中指出线性感知器功能是有限的，它仅能解决一阶谓词逻辑问题，不能解决如“异或”这样的基本问题。同时，他们发现许多复杂的函数关系是无法通过单层网络训练得到的，至于多层网络的可行性还值得怀疑。

单层感知器是一个具有输入层和输出层的前馈网络，神经元采用阈值激活函数表示。通过对网络权值的训练，可以使感知器对一组输入向量的响应达到0或者1的目标输出，从而实现对输出向量分类的目的。构成感知器的MP神经元模型如下图所示，其中$x_1、x_2、...、x_n$为神经元的输入向量$X$的分量，$w_1、w_2、...、w_n$是权重向量$W$的分量。每一个输入分量$x_i$通过一个权重分量$w_i$进行加权求和，然后和阈值$\theta$进行比较，如果加权和大于等于阈值$\theta$，则感知器的输出y为1，否则感知器的输出y为0.

构成感知器的MP神经元模型的数学表达式可描述为：
$y=f(W\cdot X-\theta )=\{\begin{array}{ll}1,& \text{ if }W\cdot X\ge \theta \\ 0,& \text{ if }x=W\cdot X<\theta \end{array}$

上面的式子中，$\theta$为神经元的激活阈值或偏置量，是一个不依赖于任何输入值的常数，偏置量可以认为是激活函数的偏移量，或者给神经元的一个基础活跃等级，$f$为激活函数或者转移函数，在这里为Sign函数。

2. 第二代神经网络

第二代人工神经网络使用连续函数（如Sigmoid函数或者分段线性函数等）作为神经元的激活函数，以实现系统对实数值输入输出的处理。从神经信息编码的角度来看，神经元处理的实数值表示脉冲发放的频率。1982年，美国加州理工学院的物理学家Hopfield对神经网络的动态特性进行了研究，引入了能量函数的概念，给出了网络的稳定性判别依据，建立了一种新的模拟生物神经系统的递归神经计算模型，即著名的Hopfield神经网络模型，成功求解了NP完全型的旅行商问题。Hopfield网络具有生物神经系统的联想记忆能力，模拟脑的记忆和学习，可用于模式识别和优化计算。Hopfield网络标志着人类在神经细胞水平上模拟脑功能的研究方面取得了历史性的重大突破。

为了模拟生物神经元的局部响应特性，Broomhad将径向基函数（radial basis function）引入神经网络的设计与建模中，形成了径向基函数神经网络。此外，Jackson和Park等分别对径向基函数神经网络在非线性连续函数上的一致逼近性能进行了分析和论证。随着研究的深入，神经网路与机器学习进一步融合，特别是Cortes等于1995年首先提出的支持向量机（Support vector machine，SVM）模型，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。

三. 第三代神经网络

然而，与生物神经网络中的信息处理相比，传统的人工神经网络面临着固有的局限性，主要表现在两个方面：

1. 传统人工神经网络的神经元模型过于简单，无论是MP模型还是连续激活函数表示的神经元模型，都不能很好地实现生物神经元的膜电位变化和脉冲发放过程的逼真模拟；
2. 传统人工神经网络模型描述中均未直接使用单个脉冲的时间信息，其输出值为模拟量，可看作是神经元脉冲发放频率的一个规格化描述，这种情况通常称为神经元信号的频率编码（rate coding），频率编码仅是神经信息的一种近似表示。

频率编码意味着一种时间平均的机制，只有在一个时间窗口内对神经元发放的脉冲个数求均值，才能得到脉冲的发放频率。但是近年来的一些研究表明，在生物系统中频率编码的方法很多时候并不适用。研究者发现，大脑皮层中的神经元能够以令人难以置信的速度进行信息传递，频率编码的假设明显与皮层神经元的高速运算不符。

神经科学的一些实验证据表明，视觉、听觉等许多生物神经系统都采用神经元发放的动作电位（即脉冲）的时间来编码信息。针对这些问题，更加符合生物神经系统实际情况的第三代人工神经网络模型——脉冲神经网络模型应运而生。脉冲神经网络使用时间编码（temporal coding）方式进行信息传递与处理，直接利用神经元的脉冲发放时间作为网络模型的输入与输出，因而相对于第一代和第二代人工神经网络能更接近地描述实际生物神经系统，从而实现信息的高效处理。

近些年来，关于脉冲神经网络的研究取得了一系列进展，Maass等证明了脉冲神经网络能够模拟任意的前向Sigmoid神经网络，从而实现任意连续函数的逼近。而理论研究已经表明，传递脉冲序列时域信息的脉冲神经网络的计算能力要强于一般使用Sigmoid为激活函数的神经网络模型。并且，脉冲神经网络采用离散的脉冲序列来代替模拟量来传递信息，更适合网络的硬件实现与处理。

参考：脉冲神经网络原理及应用