多层感知器神经网络实例,感知机是单层神经网络

BP神经网络和感知器有什么区别？

1、发展背景不同：感知器是FrankRosenblatt在1957年所发明的一种人工神经网络，可以被视为一种最简单形式的前馈式人工神经网络，是一种二元线性分类器。

而BP神经网络发展于20世纪80年代中期，DavidRunelhart。

GeoffreyHinton和RonaldW-llians、DavidParker等人分别独立发现了误差反向传播算法，简称BP，系统解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。

2、结构不同：BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。

感知器也被指为单层的人工神经网络，以区别于较复杂的多层感知器（MultilayerPerceptron）。作为一种线性分类器，（单层）感知器可说是最简单的前向人工神经网络形式。

3、算法不同：BP神经网络的计算过程由正向计算过程和反向计算过程组成。正向传播过程，输入模式从输入层经隐单元层逐层处理，并转向输出层，每层神经元的状态只影响下一层神经元的状态。

感知器使用特征向量来表示的前馈式人工神经网络，它是一种二元分类器，输入直接经过权重关系转换为输出。参考资料来源：百度百科-感知器参考资料来源：百度百科-BP神经网络。

谷歌人工智能写作项目：小发猫

bp神经网络，把它分为很多层，可以算深度学习嘛？

“深度学习”和“多层神经网络”的区别

各种遥感数据分类方法比较

常用的遥感数据的专题分类方法有多种，从分类判别决策方法的角度可以分为统计分类器、神经网络分类器、专家系统分类器等；从是否需要训练数据方面，又可以分为监督分类器和非监督分类器。

一、统计分类方法统计分类方法分为非监督分类方法和监督分类方法。

非监督分类方法不需要通过选取已知类别的像元进行分类器训练，而监督分类方法则需要选取一定数量的已知类别的像元对分类器进行训练，以估计分类器中的参数。

非监督分类方法不需要任何先验知识，也不会因训练样本选取而引入认为误差，但非监督分类得到的自然类别常常和研究感兴趣的类别不匹配。

相应地，监督分类一般需要预先定义分类类别，训练数据的选取可能会缺少代表性，但也可能在训练过程中发现严重的分类错误。1.非监督分类器非监督分类方法一般为聚类算法。

最常用的聚类非监督分类方法是K-均值（K-MeansAlgorithm）聚类方法（DudaandHart，1973）和迭代自组织数据分析算法（ISODATA）。

其算法描述可见于一般的统计模式识别文献中。一般通过简单的聚类方法得到的分类结果精度较低，因此很少单独使用聚类方法进行遥感数据专题分类。

但是，通过对遥感数据进行聚类分析，可以初步了解各类别的分布，获取最大似然监督分类中各类别的先验概率。

聚类分析最终的类别的均值矢量和协方差矩阵可以用于最大似然分类过程（Schowengerdt，1997）。2.监督分类器监督分类器是遥感数据专题分类中最常用的一种分类器。

和非监督分类器相比，监督分类器需要选取一定数量的训练数据对分类器进行训练，估计分类器中的关键参数，然后用训练后的分类器将像元划分到各类别。

监督分类过程一般包括定义分类类别、选择训练数据、训练分类器和最终像元分类四个步骤（Richards，1997）。每一步都对最终分类的不确定性有显著影响。监督分类器又分为参数分类器和非参数分类器两种。

参数分类器要求待分类数据满足一定的概率分布，而非参数分类器对数据的概率分布没有要求。

遥感数据分类中常用的分类器有最大似然分类器、最小距离分类器、马氏距离分类器、K-最近邻分类器（K-Nearestneighborhoodclassifier，K-NN）以及平行六面体分类器（parallelepipedclassifier）。

最大似然、最小距离和马氏距离分类器在第三章已经详细介绍。这里简要介绍K-NN分类器和平行六面体分类器。K-NN分类器是一种非参数分类器。

该分类器的决策规则是：将像元划分到在特征空间中与其特征矢量最近的训练数据特征矢量所代表的类别（Schowengerdt，1997）。

当分类器中K=1时，称为1-NN分类器，这时以离待分类像元最近的训练数据的类别作为该像元的类别；当K＞1时，以待分类像元的K个最近的训练数据中像元数量最多的类别作为该像元的类别，也可以计算待分类像元与其K个近邻像元特征矢量的欧氏距离的倒数作为权重，以权重值最大的训练数据的类别作为待分类像元的类别。

Hardin，（1994）对K-NN分类器进行了深入的讨论。平行六面体分类方法是一个简单的非参数分类算法。该方法通过计算训练数据各波段直方图的上限和下限确定各类别像元亮度值的范围。

对每一类别来说，其每个波段的上下限一起就形成了一个多维的盒子（box）或平行六面体（parallelepiped）。因此M个类别就有M个平行六面体。

当待分类像元的亮度值落在某一类别的平行六面体内时，该像元就被划分为该平行六面体代表的类别。平行六面体分类器可以用图5-1中两波段的遥感数据分类问题来表示。

图中的椭圆表示从训练数据估计的各类别亮度值分布，矩形表示各类别的亮度值范围。像元的亮度落在哪个类别的亮度范围内，就被划分为哪个类别。

图5-1平行六面体分类方法示意图3.统计分类器的评价各种统计分类器在遥感数据分类中的表现各不相同，这既与分类算法有关，又与数据的统计分布特征、训练样本的选取等因素有关。

非监督聚类算法对分类数据的统计特征没有要求，但由于非监督分类方法没有考虑任何先验知识，一般分类精度比较低。

更多情况下，聚类分析被作为非监督分类前的一个探索性分析，用于了解分类数据中各类别的分布和统计特征，为监督分类中类别定义、训练数据的选取以及最终的分类过程提供先验知识。

在实际应用中，一般用监督分类方法进行遥感数据分类。最大似然分类方法是遥感数据分类中最常用的分类方法。最大似然分类属于参数分类方法。

在有足够多的训练样本、一定的类别先验概率分布的知识，且数据接近正态分布的条件下，最大似然分类被认为是分类精度最高的分类方法。但是当训练数据较少时，均值和协方差参数估计的偏差会严重影响分类精度。

SwainandDavis（1978）认为，在N维光谱空间的最大似然分类中，每一类别的训练数据样本至少应该达到10×N个，在可能的条件下，最好能达到100×N以上。

而且，在许多情况下，遥感数据的统计分布不满足正态分布的假设，也难以确定各类别的先验概率。最小距离分类器可以认为是在不考虑协方差矩阵时的最大似然分类方法。

当训练样本较少时，对均值的估计精度一般要高于对协方差矩阵的估计。因此，在有限的训练样本条件下，可以只估计训练样本的均值而不计算协方差矩阵。这样最大似然算法就退化为最小距离算法。

由于没有考虑数据的协方差，类别的概率分布是对称的，而且各类别的光谱特征分布的方差被认为是相等的。很显然，当有足够训练样本保证协方差矩阵的精确估计时，最大似然分类结果精度要高于最小距离精度。

然而，在训练数据较少时，最小距离分类精度可能比最大似然分类精度高（Richards，1993）。而且最小距离算法对数据概率分布特征没有要求。

马氏距离分类器可以认为是在各类别的协方差矩阵相等时的最大似然分类。

由于假定各类别的协方差矩阵相等，和最大似然方法相比，它丢失了各类别之间协方差矩阵的差异的信息，但和最小距离法相比较，它通过协方差矩阵保持了一定的方向灵敏性（Richards，1993）。

因此，马氏距离分类器可以认为是介于最大似然和最小距离分类器之间的一种分类器。与最大似然分类一样，马氏距离分类器要求数据服从正态分布。

K-NN分类器的一个主要问题是需要很大的训练数据集以保证分类算法收敛（DevijverandKittler，1982）。

K-NN分类器的另一个问题是，训练样本选取的误差对分类结果有很大的影响（CortijoandBlanca，1997）。同时，K-NN分类器的计算复杂性随着最近邻范围的扩大而增加。

但由于K-NN分类器考虑了像元邻域上的空间关系，和其他光谱分类器相比，分类结果中“椒盐现象”较少。平行六面体分类方法的优点在于简单，运算速度快，且不依赖于任何概率分布要求。

它的缺陷在于：首先，落在所有类别亮度值范围之外的像元只能被分类为未知类别；其次，落在各类别亮度范围重叠区域内的像元难以区分其类别（如图5-1所示）。各种统计分类方法的特点可以总结为表5-1。

二、神经网络分类器神经网络用于遥感数据分类的最大优势在于它平等地对待多源输入数据的能力，即使这些输入数据具有完全不同的统计分布，但是由于神经网络内部各层大量的神经元之间连接的权重是不透明的，因此用户难以控制（Austin，HardingandKanellopoulosetal.，1997）。

神经网络遥感数据分类被认为是遥感数据分类的热点研究领域之一（Wilkinson，1996；Kimes，1998）。神经网络分类器也可分为监督分类器和非监督分类器两种。

由于神经网络分类器对分类数据的统计分布没有任何要求，因此神经网络分类器属于非参数分类器。遥感数据分类中最常用的神经网络是多层感知器模型（multi-layerpercep-tron，MLP）。

该模型的网络结构如图5-2所示。该网络包括三层：输入层、隐层和输出层。输入层主要作为输入数据和神经网络输入界面，其本身没有处理功能；隐层和输出层的处理能力包含在各个结点中。

输入的结构一般为待分类数据的特征矢量，一般情况下，为训练像元的多光谱矢量，每个结点代表一个光谱波段。

当然，输入结点也可以为像元的空间上下文信息（如纹理）等，或多时段的光谱矢量（PaolaandSchowengerdt，1995）。

表5-1各种统计分类器比较图5-2多层感知器神经网络结构对于隐层和输出层的结点来说，其处理过程是一个激励函数（activationfunction）。

假设激励函数为f（S），对隐层结点来说，有：遥感信息的不确定性研究其中，pi为隐层结点的输入；hj为隐层结点的输出；w为联接各层神经之间的权重。

对输出层来说，有如下关系：遥感信息的不确定性研究其中，hj为输出层的输入；ok为输出层的输出。

激励函数一般表达为：遥感信息的不确定性研究确定了网络结构后，就要对网络进行训练，使网络具有根据新的输入数据预测输出结果的能力。最常用的是后向传播训练算法（Back-Propagation）。

这一算法将训练数据从输入层进入网络，随机产生各结点连接权重，按式（5-1）（5-2）和（5-3）中的公式进行计算，将网络输出与预期的结果（训练数据的类别）相比较并计算误差。

这个误差被后向传播的网络并用于调整结点间的连接权重。

调整连接权重的方法一般为delta规则（Rumelhart，etal.，1986）：遥感信息的不确定性研究其中，η为学习率（learningrate）；δk为误差变化率；α为动量参数。

将这样的数据的前向和误差后向传播过程不断迭代，直到网络误差减小到预设的水平，网络训练结束。这时就可以将待分类数据输入神经网络进行分类。

除了多层感知器神经网络模型，其他结构的网络模型也被用于遥感数据分类。

例如，Kohonen自组织网络被广泛用于遥感数据的非监督聚类分析（Yoshidaetal.，1994；Schaaleetal.，1995）；自适应共振理论（AdaptiveResonanceTheory）网络（Silva，SandCaetano，M.1997）、模糊ART图（FuzzyARTMaps）（Fischer，M.MandGopal，S，1997）、径向基函数（骆剑承，1999）等也被用于遥感数据分类。

许多因素影响神经网络的遥感数据分类精度。FoodyandArora（1997）认为神经网络结构、遥感数据的维数以及训练数据的大小是影响神经网络分类的重要因素。

神经网络结构，特别是网络的层数和各层神经元的数量是神经网络设计最关键的问题。网络结构不但影响分类精度，而且对网络训练时间有直接影响（KavzogluandMather，1999）。

对用于遥感数据分类的神经网络来说，由于输入层和输出层的神经元数目分别由遥感数据的特征维数和总的类别数决定的，因此网络结构的设计主要解决隐层的数目和隐层的神经元数目。

一般过于复杂的网络结构在刻画训练数据方面较好，但分类精度较低，即“过度拟合”现象（over-fit）。而过于简单的网络结构由于不能很好的学习训练数据中的模式，因此分类精度低。

网络结构一般是通过实验的方法来确定。Hirose等（1991）提出了一种方法。该方法从一个小的网络结构开始训练，每次网络训练陷入局部最优时，增加一个隐层神经元，然后再训练，如此反复，直到网络训练收敛。

这种方法可能导致网络结构过于复杂。一种解决办法是每当认为网络收敛时，减去最近一次加入的神经元，直到网络不再收敛，那么最后一次收敛的网络被认为是最优结构。这种方法的缺点是非常耗时。

“剪枝法”（pruning）是另一种确定神经网络结构的方法。

和Hirose等（1991）的方法不同，“剪枝法”从一个很大的网络结构开始，然后逐步去掉认为多余的神经元（SietsmaandDow，1988）。

从一个大的网络开始的优点是，网络学习速度快，对初始条件和学习参数不敏感。

“剪枝”过程不断重复，直到网络不再收敛时，最后一次收敛的网络被认为最优（Castellano，FanelliandPelillo，1997）。

神经网络训练需要训练数据样本的多少随不同的网络结构、类别的多少等因素变化。但是，基本要求是训练数据能够充分描述代表性的类别。

Foody等（1995）认为训练数据的大小对遥感分类精度有显著影响，但和统计分类器相比，神经网络的训练数据可以比较少。分类变量的数据维对分类精度的影响是遥感数据分类中的普遍问题。

许多研究表明，一般类别之间的可分性和最终的分类精度会随着数据维数的增大而增高，达到某一点后，分类精度会随数据维的继续增大而降低（ShahshahaniandLandgrebe，1994）。

这就是有名的Hughes现象。一般需要通过特征选择去掉信息相关性高的波段或通过主成分分析方法去掉冗余信息。

分类数据的维数对神经网络分类的精度同样有明显影响（Battiti，1994），但Hughes现象没有传统统计分类器中严重（FoodyandArora，1997）。

Kanellopoulos（1997）通过长期的实践认为一个有效的ANN模型应考虑以下几点：合适的神经网络结构、优化学习算法、输入数据的预处理、避免振荡、采用混合分类方法。

其中混合模型包括多种ANN模型的混合、ANN与传统分类器的混合、ANN与知识处理器的混合等。三、其他分类器除了上述统计分类器和神经网络分类器，还有多种分类器被用于遥感图像分类。

例如模糊分类器，它是针对地面类别变化连续而没有明显边界情况下的一种分类器。它通过模糊推理机制确定像元属于每一个类别的模糊隶属度。

一般的模糊分类器有模糊C均值聚类法、监督模糊分类方法（Wang，1990）、混合像元模型（FoodyandCox，1994；SettleandDrake，1993）以及各种人工神经网络方法等（Kanellopoulosetal.，1992；PaolaandSchowengerdt，1995）。

由于模糊分类的结果是像元属于每个类别的模糊隶属度，因此也称其为“软分类器”，而将传统的分类方法称为“硬分类器”。

另一类是上下文分类器（contextualclassifier），它是一种综合考虑图像光谱和空间特征的分类器。一般的光谱分类器只是考虑像元的光谱特征。

但是，在遥感图像中，相邻的像元之间一般具有空间自相关性。空间自相关程度强的像元一般更可能属于同一个类别。同时考虑像元的光谱特征和空间特征可以提高图像分类精度，并可以减少分类结果中的“椒盐现象”。

当类别之间的光谱空间具有重叠时，这种现象会更明显（Cortijoetal.，1995）。这种“椒盐现象”可以通过分类的后处理滤波消除，也可以通过在分类过程中加入代表像元邻域关系的信息解决。

在分类过程中可以通过不同方式加入上下文信息。

一是在分类特征中加入图像纹理信息；另一种是图像分割技术，包括区域增长/合并常用算法（KettingandLandgrebe，1976）、边缘检测方法、马尔可夫随机场方法。

RignotandChellappa（1992）用马尔可夫随机场方法进行SAR图像分类，取得了很好的效果，PaulSmits（1997）提出了保持边缘细节的马尔可夫随机场方法，并用于SAR图像的分类；Crawford（1998）将层次分类方法和马尔可夫随机场方法结合进行SAR图像分类，得到了更高的精度；Cortijo（1997）用非参数光谱分类对遥感图像分类，然后用ICM算法对初始分类进行上下文校正。

如何设计一个多层感知器神经网络

BP神经网络，指的是用了“BP算法”进行训练的“多层感知器模型”。

多层感知器（MLP，MultilayerPerceptron）是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上，可以解决任何线性不可分问题。不要把算法和网络搞混了。

对于多层感知器神经网络，3水平的输入总共有多少组数据

BP神经网络，指的是用了“BP算法”进行训练的“多层感知器模型”。

多层感知器（MLP，MultilayerPerceptron）是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上，可以解决任何线性不可分问题。不要把算法和网络搞混了。

人工神经网络，人工神经网络是什么意思

。

一、人工神经网络的概念人工神经网络（ArtificialNeuralNetwork，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。

该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。

它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。

每个节点代表一种特定的输出函数，称为激活函数（activationfunction）。

每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。

而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。

人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。

另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。

输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。

神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。

人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。

二、人工神经网络的发展神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。

1.第一阶段----启蒙时期(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。

1943年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。

在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。

(2)、Hebb规则：1949年，心理学家赫布（Hebb）出版了《TheOrganizationofBehavior》（行为组织学），他在书中提出了突触连接强度可变的假设。

这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常著名的Hebb规则。

这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。

(3)、感知器模型：1957年，罗森勃拉特（Rosenblatt）以M-P模型为基础，提出了感知器（Perceptron）模型。

感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。

这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。

Rosenblatt证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。

Rosenblatt的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。

(4)、ADALINE网络模型：1959年，美国著名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptivelinearelement，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。

ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

2.第二阶段----低潮时期人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。

这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。

(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizingfeaturemap)。

后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。

它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。

这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。

(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了著名的自适应共振理论ART(AdaptiveResonanceTheory)，其学习过程具有自组织和自稳定的特征。

3.第三阶段----复兴时期(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。

在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。

1984年，Hopfield又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。

1985年，Hopfield和Tank利用Hopfield神经网络解决了著名的旅行推销商问题（TravellingSalesmanProblem）。Hopfield神经网络是一组非线性微分方程。

Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。

因为Hopfield神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。

(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。

1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。

Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann机模型。

(3)、BP神经网络模型：1986年，儒默哈特（melhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（ErrorBack-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。

(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《ParallelDistributedProcessing：ExplorationintheMicrostructuresofCognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。

可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。

(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。

Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。

(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。

(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasisfunction,RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。

(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。

(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。

通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。

(11)、90年代初，Vapnik等提出了支持向量机(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)维数的概念。

经过多年的发展，已有上百种的神经网络模型被提出。