人工神经网络算法-BP算法原理

人工神经网络是由大量的神经元按照大规模并行的方式通过一定的拓扑结构连接而成的。按照一定的规则将神经元连接成神经网络，并使网络中各神经元的连接权按一定的规则变化，这样一来也就产生了各式各样的神经网络模型。

从几个方面进行分类：

（1）按神经网络的拓扑结构可以分为反馈神经网络模型和前向神经网络模型；

（2）按照神经网络模型的性能可分为连续型与离散型神经网络模型，确定型与随机型神经网络模型

（3）按照学习方式可分为有教师学习和无教师学习神经网络模型；

（4）按连接突触的性质可分为一阶线性关联和高阶非线性关联神经网络模型；

BP神经网络是具有三层或三层以上的阶层型神经网络，由输入层、隐含层和输出层构成，相邻层之间的神经元全互连，同一层内的神经元无连接。

BP算法思想：从后向前（反向）逐层传播输出层的误差，以简接算出隐层误差。算法分为两个阶段：

            （1）（正向传播过程）输入信息从输入层经隐层逐层计算各单元的输出值；

            （2）（反向传播过程）输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。

备注：网络权值调整采用Delta学习规则，即根据梯度法沿着误差曲面的梯度最速下降，从而实现网络误差的最小化。

假设输入层、隐含层和输出层的单元数分别为I、J和K，输入为,隐含层输出为，