神经网络的学习算法

学习方法分类

1.有监督学习
网络的输出和期望的输出（即监督信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。

2.无监督学习
输入模式进入网络后，网络按照预先设定的规则（如竞争规则）自动调整权重，使网络具有模式分类等功能。

3.再励学习
介于上述两者之间的一种学习方法。

学习规则分类

1.Hebb学习规则
如果处理单元接收到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强。

2.Delta学习规则
改变单元间的连接权重来减小系统实际输出与应有的输出间的误差。只适用于线性可分函数。
注：线性函数——只拥有一个变量的一阶多项式函数
线性可分函数——用一个线性函数可以将两类样本完全分开

3.梯度下降学习规则
网络再学习过程中，保持误差曲线的梯度下降。
注：梯度——表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

4.Kohonen学习规则
在学习过程中，处理单元竞争学习的时候，具有高输出的单元是胜利者，它有能力阻止它的竞争者并激发相邻的单元。
只有胜利者才能有输出，也只有胜利者与其相邻单元可以调整权重。

5.后向传播学习规