matlab循环神经网络_神经网络入门（3）：神经网络的模型与学习方式

一、 神经网络的模型

神经网络是对生物神经的网络的抽象与简化，与计算智能无关的部分均被抛弃。神经网络模型包含节点与权值，可以分为不同的种类。根据网络结构的不同，可分为前向网络与反馈网络。单层感知器与线性网络均属于单层前向网络，多层感知器、径向基函数网络均属于多层前向网络。Hopfiled网络和Elman网络则属于反馈网络。在前向网络中，数据从输入层流经隐含层流向输出层，而这时的反馈网络会将输出值返回给输入层，在整个网络中循环流动，直至达到稳定状态。

根据学习方式的不同，可以分为有监督学习与无监督学习两种学习方式。BP网络、径向基网络、Hopfield网络均属于有监督学习网络，需要人为地对已经给出的输出样本进行训练。而大部分自组织网络则属于典型的无监督学习网络，只需将待求的样本输入网络即可得到结果。

另外，还有竞争神经网络，他将竞争机制引入到竞争层神经元中，遵循“胜者为王”的规则。

此外，随机神经网络认为神经元以随机的方式进行工作，节点的兴奋或抑制以随机的方式进行，其概率与输入的样本有关。

二、 神经网络的学习方式

当神经网络的类型与层数确定以后，就可以进行输入样本进行训练了。这也是神经网络适应性的源泉，网络可以根据环境变化不断学习，改变自身的权值。一般而言，训练指的是外界将样本输入到网络中，使其权值发生调整的过程，是外界的行为；而学习是指神经网络进行自适应调整的行为，是网络自身的行为。但一般这两个概念不加以严格区分。

1.有监督学习

有监督学习中的每一个训练样本都对应一个教师信号，教师信号代表了环境信息。网络将该教师信号作为期望输出，训练时计算实际输出与期望之间的误差，再根据误差的大小和方向对网络权值进行更新。这样的调整反复进行，直到误差达到预期的精度为止，整个网络形成了一个封闭的闭环系统。误差可以使用各输出节点的误差均方值来衡量，这样就建立了一个以网络权值为自变量、以最终误差性能为函数值的性能函数，网络的训练转化为求解函数最小点的问题。有监督学习往往能有效地进行模式分类、函数拟合等功能。

2.无监督学习

在无监督学习中，网络只接受一系列的输入样本，而对样本的输出值一无所知。因此，网络只能凭借各输入样本之间的关系进行权值的更新。由于无监督学习没有期望输出，因此无法用来逼近函数。

3.Hebb学习规则

这是最古老的学习规则，由神经心理学家Hebb提出。思想可以概括为：如果权值两端连接的两个神经元被同步激活，则权值的能量将被选择性的增加；如果权值两端连接的两个神经元被异步激活，则权值的能量将被选择性的减小；在数学上表现为，权值的调整量与输入前以神经元输出值和后一神经元输出值的乘积成正比。假设前一个神经元的输出为a，后一个神经元的输出值为b，学习因子为η，则权值的调整量为Δω=ηab

4.Widrow-Hoff学习规则

又称Delta学习规则或纠错学习规则。假设期望输出为d，实际输出为y，则误差为e=d-y，训练的目标是使得误差值最小，因此权值的调整量与误差的大小成正比：Δω=ηey

5.随机学习规则

也称Boltzmann学习规则，其思想源于统计动力学，由此设计的神经网络为Boltzmann机，实际上就是模拟退火算法。

6.竞争学习规则

网络的输出神经元相互竞争，在典型的竞争网络中，只有一个获胜神经元可以进行权值调整，其他神经元维持权值不变，体现了神经元之间的侧向抑制，这与生物的神经元运行机制相符合。

参考文献：

【1】陈明 等 . MATLAB神经网络原理与实例精解 . 北京 . 清华大学出版社 . 2013