基于误差反传的多层感知器——BP神经网络

郑重声明：以下内容，完全参考韩力群编著的《人工神经网络理论，设计及应用》

BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。

1. BP网络模型

我们以单隐层感知器为例进行BP网络模型的说明，一般习惯将单隐层感知器称为三层感知器，所谓三层包括了输入层，隐层和输出层。
三层感知器中，输入向量为$\mathbf{X}=(x_1,x_2,\cdots ,x_i,\cdots ,x_n{)}^T$，图中$x_0=-1$是为隐层神经元引入阈值而设置的；隐层输出向量为$\mathbf{Y}=(y_1,y_2,\cdots ,y_j,\cdots ,y_m{)}^T$，图中$y_0=-1$是为输出层神经元引入阈值而设置的；输出层的向量为$\mathbf{O}=(o_1,o_2,\cdots ,o_k,\cdots ,o_l{)}^T$；期望输出向量为$\mathbf{d}=(d_1,d_2,\cdots ,d_k,\cdots ,d_l{)}^T$。

输入层到隐层之间的权值矩阵用$\mathbf{V}$表示，$\mathbf{V}=({\mathbf{V}}_1,{\mathbf{V}}_2,\cdots ,{\mathbf{V}}_j,\cdots ,{\mathbf{V}}_m)$，其中列向量${\mathbf{V}}_j$为隐层第$j$个神经元对应的权向量，隐层到输出层之间的权值矩阵用$\mathbf{W}$表示，$\mathbf{W}=({\mathbf{W}}_1,{\mathbf{W}}_2,\cdots ,{\mathbf{W}}_k,\cdots ,{\mathbf{W}}_l)$，其中列向量${\mathbf{W}}_k$为输出层第$k$个神经元对应的权向量。
下面分析各层信号之间的数学关系。

对于输出层，有：
$$o_k=f({\mathrm{n}\mathrm{e}\mathrm{t}}_k)k=1,2,\cdots ,l\text{\hspace{1em}(1.1)}$$$${\mathrm{n}\mathrm{e}\mathrm{t}}_k=\sum _{j=0}^m{w}_{jk}{y}_{j}k=1,2,\cdots ,l\text{\hspace{1em}(1.2)}$$对于隐层，有：
$$y_i=f({\mathrm{n}\mathrm{e}\mathrm{t}}_j)j=1,2,\cdots ,m\text{\hspace{1em}(1.3)}$$$${\mathrm{n}\mathrm{e}\mathrm{t}}_j=\sum _{i=0}^n{v}_{ij}{x}_{i}j=1,2,\cdots ,m\text{\hspace{1em}(1.4)}$$以上两式中，激活函数（转移函数）$f(x)$均为单极性Sigmoid函数：

$$f(x)=\frac{1}{1+{\mathrm{e}}^{-x}}\text{\hspace{1em}(1.5)}$$ $f(x)$具有连续、可导的特点，且有：
$$f^{\prime }(x)=f(x)(1-f(x))\text{\hspace{1em}(1.6)}$$ 根据需要，也可以采用双极性Sigmoid函数（或称双曲线正切函数）：
$$f(x)=\frac{1-{\mathrm{e}}^{-x}}{1+{\mathrm{e}}^{-x}}\text{\hspace{1em}(1.7)}$$式(1.1) ~ (1.5)共同构成了三层感知器的数学模型。

2. BP学习算法

下面一三层感知器为例介绍BP学习算法，然后将所得结论推广到一般多层感知器的情况。

2.1 网络误差定义和权值调整思路

在进行下面推导的过程中，我们必须要重视以下符号的含义:

• $w_{jk}^h$：表示第$h-1$隐层第$j$个神经元的输出值 传递到第$h$隐层第$k$个神经元时的缩放比例，称之为权值。
• $y_j^h$：表示第$h$隐层第$j$个神经元的输出值，也是$h+1$层神经元d 输入值经过权重$w_{jk}^{h+1}$缩放后的一部分。
• ${\mathrm{n}\mathrm{e}\mathrm{t}}_j^h$：表示第$h$隐层第$j$个神经元的集结输入值，${\mathrm{n}\mathrm{e}\mathrm{t}}_j^h={\sum }_{j=0}^m{w}_{ij}^h{y}_i^{h-1}$。
• $f({\mathrm{n}\mathrm{e}\mathrm{t}}_j^h)$：表示第$h$隐层第$j$个神经元的激活函数（转移函数）,即：$$y_j^h=f({\mathrm{n}\mathrm{e}\mathrm{t}}_j^h)$$
• ${\delta }_j^h$：表示第$h$隐层第$j$个神经元的输出误差信号，也称为学习信号，这是因为网络误差函数$E$ 对第$h$隐层第$j$个神经元的