误差反向传播算法（BP，Back-Propagation algorithm）(一）

多层感知器网络（MLP）的设计

1.选定层数：通常采用三层网络（因为增加网络层数并不能提高网络的分类能力；

2.输入层：输入层节点数为输入特征的维数 n， 激活函数采用线性函数；

3.隐层：隐层可实现非线性分类，其节点数需要设定；一般的，隐层节点数越多，网络的分类能力就越强，激活函数一般采用 Sigmoid 函数；

4.输出层：输出层节点数可以等于类别数，也可采用编码输出的方式（少于类别数），激活函数可使用线性函数或Sigmoid 函数。

如上图所示，该三层网络的判别函数形式为

Y 3 = f 3 ( ∑ k = 1 n 2 w k ⋅ Y k 2 − θ ) = f 3 ( ∑ k = 1 n 2 w k ⋅ { f 2 ( ∑ j = 1 n 1 w k j ⋅ Y j 1 − θ k ) } − θ ) = f 3 ( ∑ k = 1 n 2 w k ⋅ { f 2 ( ∑ j = 1 n 1 w k j ⋅ [ f 1 ( ∑ i = 1 n w j i ⋅ X i − θ j ) ] − θ k ) } − θ ) \begin{array}{ll} &Y^3= f_{3}(\sum^{n_2}_{k=1}w_k\cdot Y^2_k-\theta)\\ &\\ & = f_{3}(\sum^{n_2}_{k=1}w_k\cdot \{f_2(\sum^{n_1}_{j=1}w_{kj}\cdot Y^1_j-\theta_k)\}-\theta)\\ &\\ &= f_{3}(\sum^{n_2}_{k=1}w_k\cdot \{f_2(\sum^{n_1}_{j=1}w_{kj}\cdot [f_1(\sum^n_{i=1}w_{ji}\cdot X_i-\theta_j)]-\theta_k)\}-\theta) \end{array} ​Y3=f3​(∑k=1n2​​wk​⋅Yk2​−θ)=f3​(∑k=1n2​​wk​⋅{f2​(∑j=1n1​​wkj​⋅Yj1​−θk​)}−θ)=f3​(∑k=1n2​​wk​⋅{f2​(∑j=1n1​​wkj​⋅[f1​(∑i=1n​wji​⋅Xi​−θj​)]−θk​)}−θ)​

其中，$n_2$ 为隐层节点数；$n$ 为输入特征维数。上图只有一个输出单元（两类），当有 c 个输出单元时（c 个类别），网络可视为计算 c 个判别函数 $Y_c^3$，通过所有求判别函数的最大值将输入信号分类。此过程是前馈计算过程，是识别过程。

MLP的训练——BP算法

BP算法是实质是一个均方误差最小算法（LMS）。

BP的基础

A.梯度下降法
记神经元 j 在第 n 次迭代（即输入第 n 个训练样本时）的输出为 $y_j(n)$，其目标输出值记为 $d_j(n)$，则该神经元的输出误差为： $e_j(n)=d_j(n)-y_j(n)$，则整个网络输出层 C 的平方差作为损失函数：$E(n)=\frac{1}{2}\sum _{k\in C}{e}_k^2(n)$。求其最小值，可使用如下迭代：$w_{ij}^{k+1}=w_{ij}^k+\lambda \cdot △w_{ij}^k$，当 $△w_{ij}\propto -\frac{\partial E}{\partial w_{ij}}$时，可使函数值下降最快，更早到达最小。

B.链式法则 $\frac{\partial f(g(x))}{\partial x}=\frac{\partial f(g(x))}{\partial g(x)}\cdot \frac{\partial g(x)}{\partial x}$

BP的推导

根据上述描述，从神经元 $i$ 到神经元 $j$ 的连接权值 $w_{ji}$ 的迭代公式可设置为：

$w_{ji}(t+1)=w_{ji}(t)+△w_{ji},△w_{ji}=-\lambda \cdot \frac{\partial E(n)}{\partial w_{ji}}$

输出层神经元

若神经元 $j$ 是输出节点，则 $\frac{\partial E(n)}{\partial w_{ji}(n)}=\frac{\partial E(n)}{\partial v_j(n)}\cdot \frac{\partial v_j(n)}{\partial w_{ji}(n)}$，其中 $\frac{\partial v_j(n)}{\partial w_{ji}(n)}=y_i(n)$，

令 ${\delta }_j(n)=-\frac{\partial E(n)}{\partial v_j(n)}$，则：

$\begin{array}{ll}& {\delta }_j(n)=-\frac{\partial E(n)}{\partial v_j(n)}=-\frac{\partial E(n)}{\partial y_j(n)}\cdot \frac{\partial y_j(n)}{\partial v_j(n)}=-[\frac{\partial E(n)}{\partial e_j(n)}\cdot \frac{\partial e_j(n)}{\partial y_j(n)}]\cdot \frac{\partial y_j(n)}{\partial v_j(n)}\\ & \\ & =-[e_j(n)\cdot (-1)]\cdot {\phi }_j^{\prime }(v_j(n))=e_j(n)\cdot {\phi }_j^{\prime }(v_j(n))\end{array}$

可得，$\frac{\partial E(n)}{\partial w_{ji}(n)}=-e_j(n)\cdot {\phi }_j^{\prime }(v_j(n))\cdot y_i(n)=-{\delta }_j(n)\cdot y_i(n)$

隐层神经元

注意，对于$E(n)$中的每个 $e_k(n)=d_k(n)-y_k(n)$，每个输出神经元 $k$ 的输入向量都包括 $y_j(n)$，故 $\frac{\partial E(n)}{\partial y_j(n)}=\frac{\partial [\frac{1}{2}{\sum }_{k\in C}{e}_k^2(n)]}{\partial y_j(n)}$，若将 $y_j(n)$ 视为 $E(n)$ 的函数，则 ：

∂ E ( n ) ∂ y j ( n ) = ∂ [ 1 2 ∑ k ∈ C e k 2 ( n ) ( y j ( n ) ) ] ∂ y j ( n ) = ∑ k { ∂ [ 1 2 e k 2 ( n ) ( y j ( n ) ) ] ∂ y j ( n ) } = ∑ k { ∂ [ 1 2 e k 2 ( n ) ] ∂ e k ( n ) ⋅ ∂ e k ( n ) ∂ y k ( n ) ⋅ ∂ y k ( n ) ∂ v k ( n ) ⋅ ∂ v k ( n ) ∂ y j ( n ) } = ∑ k [ e k ( n ) ⋅ ( − 1 ) ⋅ φ k ′ ( v k ( n ) ) ⋅ w k j ] = − ∑ k [ e k ( n ) ⋅ φ k ′ ( v k ( n ) ) ⋅ w k j ] = − ∑ k [ δ k ( n ) ⋅ w k j ] \begin{array}{ll} &\displaystyle\frac{\partial E(n)}{\partial y_{j}(n)}=\frac{\partial [\frac{1}{2}\sum_{k\in C}e^2_k(n)(y_j(n))]}{\partial y_{j}(n)}=\sum_k\{\frac{\partial [\frac{1}{2}e^2_k(n)(y_j(n))]}{\partial y_{j}(n)}\}=\sum_k\{\frac{\partial[\frac{1}{2}e^2_k(n)]}{\partial e_k(n)}\cdot\frac{\partial e_k(n)}{\partial y_k(n)}\cdot\frac{\partial y_k(n)}{\partial v_k(n)}\cdot\frac{\partial v_k(n)}{\partial y_j(n)}\}\\ &\\ &\displaystyle = \sum_k[e_k(n)\cdot(-1)\cdot\varphi'_k(v_k(n))\cdot w_{kj}]=-\sum_k[e_k(n)\cdot\varphi'_k(v_k(n))\cdot w_{kj}]=-\sum_k[\delta_k(n)\cdot w_{kj}]\\ \end{array} ​∂yj​(n)∂E(n)​=∂yj​(n)∂[21​∑k∈C​ek2​(n)(yj​(n))]​=k∑​{∂yj​(n)∂[21​ek2​(n)(yj​(n))]​}=k∑​{∂ek​(n)∂[21​ek2​(n)]​⋅∂yk​(n)∂ek​(n)​⋅∂vk​(n)∂yk​(n)​⋅∂yj​(n)∂vk​(n)​}=k∑​[ek​(n)⋅(−1)⋅φk′​(vk​(n))⋅wkj​]=−k∑​[ek​(n)⋅φk′​(vk​(n))⋅wkj​]=−k∑​[δk​(n)⋅wkj​]​

其中，${\delta }_k(n)=e_k(n)\cdot {\phi }_k^{\prime }(v_k(n))$

而对隐层神经元 $j$ ，则有：

δ j ( n ) = − ∂ E ( n ) ∂ v j ( n ) = − ∂ E ( n ) ∂ y j ( n ) ⋅ ∂ y j ( n ) ∂ v j ( n ) = − { − ∑ k [ δ k ( n ) ⋅ w k j ] } ⋅ φ j ′ ( v j ( n ) ) = φ j ′ ( v j ( n ) ) ⋅ ∑ k [ δ k ( n ) ⋅ w k j ] \begin{array}{ll} &\displaystyle\delta_j(n)=-\frac{\partial E(n)}{\partial v_{j}(n)}=-\frac{\partial E(n)}{\partial y_{j}(n)}\cdot\frac{\partial y_j(n)}{\partial v_{j}(n)}\\ &\\ &\displaystyle = -\{-\sum_k[\delta_k(n)\cdot w_{kj}]\}\cdot\varphi'_j(v_j(n))=\varphi'_j(v_j(n))\cdot\sum_k[\delta_k(n)\cdot w_{kj}]\\ \end{array} ​δj​(n)=−∂vj​(n)∂E(n)​=−∂yj​(n)∂E(n)​⋅∂vj​(n)∂yj​(n)​=−{−k∑​[δk​(n)⋅wkj​]}⋅φj′​(vj​(n))=φj′​(vj​(n))⋅k∑​[δk​(n)⋅wkj​]​

同理，隐层神经元的$\frac{\partial E(n)}{\partial w_{ji}(n)}=-{\delta }_j(n)\cdot y_i(n)$，其中 ${\delta }_j(n)$ 是局域梯度，应当注意的是，不同层的局域梯度是不同的。

BP算法流程

MPL 的训练过程为：

1. 初始化网络权值（网络连接权重 $w_{ij}$、神经元阈值 ${\theta }_i$），一般随机设置为 $[-1,+1]$ 之间的数，若无先验知识，可选择均匀分布；若有先验知识，则可根据先验进行初始化；

2. 训练样本的排序：每个训练样本都要输入网络一次，称为回合；在每个回合开始时，对训练样本要进行随机排序；

3. 前馈计算：从输入层到输出层，层层前进，计算每个神经元的局部诱导域和输出函数信号。
   第 $h$ 层的神经元 $j$ 的局部诱导域为：$v_j^{(h)}=\sum _{i=0}^{m_h-1}{w}_{ji}^{(h)}(n)\cdot y_i^{(h-1)}(n)$
   第 $h$ 层的神经元 $j$ 的输出函数信号为：$y_j^{(h)}={\phi }_j(v_j^{(h)})$，若神经元 $j$ 在第 1 隐层（输入层，即 $h=1$），则使 $y_j^{(0)}=x_j(n)$；若神经元 $j$ 在输出层（$h=L$），则令输出 $o_j(n)=y_j^{(L)}(n)$。

   并计算误差 $e_j(n)=d_j(n)-y_j(n)$。

4. 反向传播误差：从后向前，计算每一层神经元的局域梯度

${\delta }_j^{(h)}=\{\begin{array}{rlr}{\phi }_j^{\prime }(v_j^{(L)}(n))\cdot e_j^{(L)}(n),& & h=L\\ {\phi }_j^{\prime }(v_j^{(h)}(n))\cdot \sum _k[{\delta }_k^{(h+1)}(n)\cdot w_{kj}^{(h+1)}(n)],& & h<L\end{array}$

5. 网络权值与偏置调整，即更新各层神经元与其前面一层神经元的连接权重：$w_{ji}^{(h)}(n+1)=w_{ji}^{(h)}(n)+\lambda \cdot {\delta }_j^{(h)}\cdot y_i^{(h-1)}(n)$

6. 返回到第 2 步，直到达到终止条件。

BP存在的问题

1. BP算法的收敛速度较慢；
2. BP算法只能收敛于局部最优解，不能保证全局最优解；
3. 当隐层神经元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率可能很差，即网络的推广能力可能较差；
4. 隐层单元数目的选取无一般指导原则；
5. 新加入的学习样本会影响已学完样本的学习结果。

后三项问题是针对多层感知器网络存在的问题。

有关BP算法的进一步分析，可参考误差反向传播算法（BP，Back-Propagation algorithm）(二）。