BP神经网络概述

BP神经网络是一种多层前馈神经网络，该网络的主要特点是信号的向前传递，误差反向传播。在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。每一层的神经网络状态只影响下一层的神经元的状态。如果输出层得不到想要的输出，则转入反向传播，根据预测误差调整网络的权值和阀值，从而使BP神经网络预测输出不断的逼近期望输出。BP神经网络的拓扑结构如图：
!

图中，$X1,X2...$是BP神经网络的输入值，$Y1,Y2...$是BP神经网络的预测值，$ωij,ωjk$是神经网络的权值。从图中可以看出，BP神经网络可以看作一个非线性函数，网络输入值和预测值分别是该函数的自变量和因变量。当输入节点数为n，输出接点为m时，BP神经网络就表达了从n个自变量到m个自变量的函数映射关系。

BP神经网络预测首先要训练网络，通过训练使网络具有联想记忆和预测能力。BP神经网络的训练过程包括如下的步骤：

1. 网络初始化。根据系统输入输出序列$（X,Y）$确定网络输入层节点数$n$，隐含层节点数$l$，输出层节点数$m$，初始化输入层，隐含层和输出层神经元之间的连接权值$\omega_{ij}$，$\omega_{jk}$，初始化隐含层阈值a，输出层阈值b，给定学习速率和神经元激励函数。
2. 隐含层输出计算。 根据输入向量$X$,输入层和隐含层间的连接权值$\omega_{ij}$以及隐含层阈值a，计算隐含层输出$H$。 $$H_j=f(\sum_{i=1}^n \omega_{ij}x_i-a_j) \qquad j=1,2,...l$$
   式中，$l$为隐含层节点数；$f$为隐含层激励函数，该函数有多种表达形式，比如： $$f(x)=\frac{1}{1+e^{-x}}$$
3. 输出层输出计算。根据隐含层输出$H$，连接权值$\omega_{jk}$和阈值$b$，计算BP神经网络预测输出$O$。 $$O_k=\sum_{j=1}^lH_j\omega_{ij}-b_k \qquad {k=1,2,...,m}$$
4. 误差计算。根据网络预测输出$O$和期望输出$Y$，计算网络预测树杈e。 $$e_k=Y_k-O_k \qquad k=1,2,...,m$$
5. 权值更新。根据网络预测误差$e$更新网络连接权值$w_{ij}$，$w_{jk}$。 $$w_{ij}=w_{ij}+\eta H_j(1-H_j)x(i)\sum_{k=1}^m \omega_{jk}e_k \qquad i=1,2,...,n;j=1,2,...,l;$$ $$\omega_{jk}=\omega_{jk}+\eta H_j e_k \qquad j=1,2,...,l;k=1,2,...,m;$$ 式中$\eta$为学习速率。
6. 阈值更新。根据网络预测误差$e$更新网络节点的阈值$a，b$。 $$a_j=a_j+\eta H_j(1-H_j)\sum_{k=1}^m \omega_{jk}e_k \qquad j=1,2,...,l$$ $$b_k=b_k+e_k \qquad k=1,2,...m$$
7. 迭代。判断算法迭代是否结束，若没有结束，返回步骤2.