《智能控制理论与应用》--神经控制系统

  人工神经网络研究的先锋，麦卡洛克（McCulloch）和皮茨（Pitts）曾于1943年提出一种叫作"似脑机器"（mindlike machine）的思想。这种机器可由基于生物神经元特性的互连模型来制造；这就是神经（学）网络的概念。他们构造了一个表示大脑基本组分的神经元模型，对逻辑操作系统表现出通用性。随着大脑和计算机研究的进展，研究目标已从"似脑机器"变为"学习机器"，为此一直关心神经系统适应律的赫布（Hebb）提出了学习模型。罗森布拉特（Rosenblatt）开发并命名了感知器（perceptron），是一组可训练的分类器。到20世纪60年代初期，关于学习系统的专用设计指南有威德罗（Widrow）等提出的 Adaline（adaptive linear element，自适应线性元）以及斯坦巴克（Steinbuch）等提出的学习矩阵。由于感知器的概念简单，因而在开始介绍时对它寄予了很大希望。然而，不久之后明斯基（Minsky）和帕伯特（Papert）从数学上证明了感知器不能实现复杂逻辑功能。
  到了20 世纪70年代，格罗斯伯格（Grossberg）和科霍恩（Kohonen）对神经网络研究做出重要贡献。以生物学和心理学证据为基础，格罗斯伯格提出几种具有新颖特性的非线性动态系统结构。该系统的网络动力学由一阶微分方程建模，而网络结构为模式聚集算法的自组织神经实现。基于神经元组织自己来调整各种各样模式的思想，科霍恩发展了他在自组织映射方面的研究工作。沃博斯（Werbos）开发一种反向传播算法。霍普菲尔德（Hopfield）在神经元交互作用的基础上引入一种递归型神经网络；这种网络就是有名的Hopfield网络。在20世纪80年代中叶，作为一种前馈神经网络的学习算法，帕克（Parker）和鲁姆尔哈特（Rumelhart）等重新发现了反向传播算法。近10年来。神经网络已在从家用电器到工业对象的广泛领域找到它的用武之地。
  迄今为止，有近50种人工神经网络模型被开发和应用。其中，很多神经网络模型经常用于控制。下面给出一些常用的神经网络模型：
（1）自适应谐振理论（ART）。由Grossberg提出，是一个根据可选参数对输入数据进行粗略分类的网络。 ART-1用于二值输入，而ART-2用于连续值输入。ART的不足之外在于过分敏感，输入有小的变化时，输出变化很大。
（2）双向联想存储器（BAM）。由Kosko开发，是一种单状态互连网络，具有学习能力。BAM的缺点为存储密度较低，且易于振荡。
（3）Boltzmann 机（BM）。由Hinton等提出，是建立在Hopfield网基础上的，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比BP网络要长。
（4）反向传播（BP）网络。最初由Werbos开发的反向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出之间的最小均方差值。BP网是一种反向传递并能修正误差的多层映射网络。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广的网络之一。BP网的短处是训练时间较长，且易陷于局部极小。
（5）对流传播网络（CPN）。由Hecht-Nielson提出，是一个通常由5层组成的连接网。CPN可用于联想存储，其缺点是要求较多的处理单元。
（6）Hopfield网。由Hopfield提出，是一类不具有学习能力的单层自联想网络。Hopfield网模型由一组可使某个能量函数最小的微分方程组成，其缺点为计算代价较高，而且需要对称连接。
（7）Madaline算法。是Adaline算法的一种发展，是一组具有最小均方差线性网络的组合，能够调整权值使期望信号与输出间的误差最小。此算法是自适应信号处理和自适应控制的得力工具，具有较强的学习能力，但是输入与输出之间必须满足线性关系。
（8）认知机（neocognition）。由Fukushima提出，是至今为止结构上最为复杂的多层网络。通过无师学习，认知机具有选择能力，对样品的平移和旋转不敏感。不过，认知机所用节点及其互连较多，参数也多且较难选取。
（9）自组织映射网（SOM）。由Kohonen提出，是以神经元自行组织以校正各种具体模式的概念为基础的。SOM能够形成簇与簇之间的连续映射，起到向量量化器的作用。
（10）感知器（perceptron）。由Rosenblatt开发，是一组可训练的分类器，为最古老的ANN之一，现已很少使用。主要原因在于单层感知器具有自身的局限性，若输入模式为线性不可分集合，则感知器的学习算法将无法收敛，即不能进行正确的分类。

1. 神经控制系统