Backpropagation 反向传播算法详细推导

BP 神经网络模型

单隐层感知器又称为三层感知器，包括输入层、隐层和输出层.
三层感知器中，设输入向量 $X$、隐层输出向量 $Y$ 和输出层向量 $O$ 分别为：

$$X=\begin{bmatrix}{x_{0}=-1}\\{x_{1}}\\{\vdots}\\{x_{i}}\\{\vdots}\\{x_{n}}\\\end{bmatrix}, Y=\begin{bmatrix}{y_{0}=-1}\\{y_{1}}\\{\vdots}\\{y_{j}}\\{\vdots}\\{y_{m}}\\\end{bmatrix}, O=\begin{bmatrix}{o_{1}}\\{\vdots}\\{o_{k}}\\{\vdots}\\{o_{l}}\\\end{bmatrix}$$

输入层到隐层的权值矩阵 $V$、隐层到输出层的权值矩阵 $W$分别为：

$$V=\begin{bmatrix}{V_{1}}&{V_{2}}&{\cdots}&{V_{j}}&{\cdots}&{V_{m}}\end{bmatrix}\\ W=\begin{bmatrix}{W_{1}}&{W_{2}}&{\cdots}&{W_{k}}&{\cdots}&{W_{l}}\end{bmatrix}$$
其中列向量 $V_{j}$ 为对应隐层的第 $j$ 个神经元对应的权向量，列向量 $W_{k}$ 为对应输出层的第 $k$ 个神经元对应的权向量，即
$$V_{j}=\begin{bmatrix}{v_{0j}}\\{v_{1j}}\\{\vdots}\\{v_{ij}}\\{\vdots}\\{v_{nj}}\end{bmatrix}, W_{k}=\begin{bmatrix}{w_{0k}}\\{w_{1k}}\\{\vdots}\\{w_{jk}}\\{\vdots}\\{w_{mk}}\end{bmatrix}$$
则对于输出层有：
$$\begin{eqnarray} o_{k}&=&f(net_{k})\nonumber\\ &=&f(-w_{0k}+w_{1k}y_{1}+w_{2k}y_{2}+\cdots+w_{jk}y_{j}+\cdots+w_{mk}y_{m})\nonumber\\ &=&f(\sum_{j=0}^{m}w_{jk}y_{j})\nonumber\\ &=&f(W_{k}^{T}\cdot Y)\nonumber \end{eqnarray}$$
对于隐层有：
$$\begin{eqnarray} y_{j}&=&f(net_{j})\nonumber\\ &=&f(-v_{0j}+v_{1j}x_{1}+v_{2j}x_{2}+\cdots+v_{ij}x_{j}+\cdots+v_{nj}x_{n})\nonumber\\ &=&f(\sum_{i=0}^{n}v_{ij}x_{i})\nonumber\\ &=&f(V_{j}^{T}\cdot X)\nonumber \end{eqnarray}$$
其中转移函数 $f(x)$ 均为单极性 Sigmoid 函数：
$$f(x)=\frac{1}{1+e^{-x}}$$
其导函数为：
$$f^{'}(x)=f(x)[1-f(x)]$$

BP 学习算法

网络误差定义、权值调整思路

输出向量对应期望输出向量 $d$ 为：

$$d=\begin{bmatrix}{d_{1}}\\{d_{2}}\\{\vdots}\\{d_{k}}\\{\vdots}\\{d_{l}}\\\end{bmatrix}$$
当网络输出与期望输出不相等时，定义输出误差 $E$：
$$\begin{eqnarray} E&=&\frac{1}{2}\sum_{k=1}^{l}(d_{k}-o_{k})^{2}\nonumber\\ &=&\frac{1}{2}\sum_{k=1}^{l}(d_{k}-f(net_{k}))^{2}\nonumber\\ &=&\frac{1}{2}\sum_{k=1}^{l}(d_{k}-f(\sum_{j=0}^mw_{jk}y_{j}))^{2}\nonumber\\ &=&\frac{1}{2}\sum_{k=1}^{l}(d_{k}-f(\sum_{j=0}^mw_{jk}f(\sum_{i=0}^{n}v_{ij}x_{i})))^{2}\nonumber\\ \end{eqnarray}$$
可以看出网络误差是各层权值 $w_{jk}$、$v_{ij}$ 的函数，故要使得误差减小，应使权值的变化量与误差的梯度下降成正比：

$$\begin{eqnarray} \Delta w_{jk} &=& - \eta \frac{\partial E}{\partial w_{jk}} \quad j \in [0,m], k \in [1, l] \nonumber\\ \Delta v_{ij} &=& - \eta \frac{\partial E}{\partial v_{ij}} \quad i \in [0,n], j \in [1, m] \nonumber \end{eqnarray}$$
注意两个 $j$ 范围的区别.

BP 算法推导

$$\begin{eqnarray} \Delta w_{jk}&=&-\eta \frac{\partial E}{\partial w_{jk}}=-\eta \frac{\partial E}{\partial o_{k}} \frac{\partial o_{k}}{\partial net_{k}} \frac{\partial net_{k}}{\partial w_{jk}}\nonumber\\ \Delta v_{ij}&=&-\eta \frac{\partial E}{\partial v_{ij}}=-\eta \frac{\partial E}{\partial y_{j}} \frac{\partial y_{j}}{\partial net_{j}} \frac{\partial net_{j}}{\partial v_{ij}}\nonumber \end{eqnarray}$$
注意到：
$$\begin{eqnarray} E&=&\frac{1}{2}(d_{1}-o_{1})^{2}+\cdots+\frac{1}{2}(d_{k}-o_{k})^{2}+\cdots+\frac{1}{2}(d_{l}-o_{l})^{2}\nonumber\\ &=&\frac{1}{2}(d_{1}-f(-w_{01}+w_{11}y_{1}+\cdots+w_{j1}y_{j}+\cdots+w_{m1}y_{m}))^{2}+\cdots+\frac{1}{2}(d_{k}-f(-w_{0k}+w_{1k}y_{1}+\cdots+w_{jk}y_{j}+\cdots+w_{mk}y_{m}))^{2}+\cdots+\frac{1}{2}(d_{l}-f(-w_{0k}+w_{1k}y_{1}+\cdots+w_{jl}y_{j}+\cdots+w_{ml}y_{m}))^{2}\nonumber \end{eqnarray}$$
故有：
$$\frac{\partial E}{\partial o_{k}}=-(d_{k}-o_{k})\\ \begin{eqnarray} \frac{\partial E}{\partial y_{j}} &=&-(d_{1}-o_{1})f^{'}(net_{1})w_{j1}-\cdots-(d_{k}-o_{k})f^{'}(net_{k})w_{jk}-\cdots-(d_{l}-o_{l})f^{'}(net_{l})w_{jl}\nonumber\\ &=&-\sum_{k=1}^{l}(d_{k}-o_{k})f^{'}(net_{k})w_{jk}\nonumber \end{eqnarray}$$
注意到：
$$net_{k}=-w_{0k}+w_{1k}y_{1}+w_{2k}y_{2}+\cdots+w_{jk}y_{j}+\cdots+w_{mk}y_{m}\\ net_{j}=-v_{0j}+v_{1j}x_{1}+v_{2j}x_{2}+\cdots+v_{ij}x_{j}+\cdots+v_{nj}x_{n}$$
故：
$$\frac{\partial net_{k}}{\partial w_{jk}}=y_{j},\frac{\partial net_{j}}{\partial v_{ij}}=x_{j}$$
所以有：
$$\begin{eqnarray} \Delta w_{jk}&=&-\eta \frac{\partial E}{\partial o_{k}} \frac{\partial o_{k}}{\partial net_{k}} \frac{\partial net_{k}}{\partial w_{jk}} \nonumber\\ &=&\eta (d_{k}-o_{k}) f^{'}(net_{k}) y_{j} \nonumber\\ &=&\eta (d_{k}-o_{k}) o_{k} (1-o_{k}) y_{j} \nonumber\\ &=&\eta \delta^{o}_{k} y_{j} \nonumber\\ \Delta v_{ij}&=&-\eta \frac{\partial E}{\partial y_{j}} \frac{\partial y_{j}}{\partial net_{j}} \frac{\partial net_{j}}{\partial v_{ij}} \nonumber\\ &=&\eta \sum_{k=1}^{l}[(d_{k}-o_{k})f^{'}(net_{k})w_{jk}] f^{'}(net_{j})x_{i} \nonumber\\ &=&\eta \sum_{k=1}^{l}(\delta^{o}_{k}w_{jk}) y_{j}(1-y_{j}) x_{i} \nonumber\\ &=&\eta \delta_{j}^{y} x_{i} \nonumber \end{eqnarray}$$
其中 $\delta^{o}_{k}$ 和 $\delta_{j}^{y}$ 分别定义为输出层和隐层的误差信号.
由此我们将其推广至有 $h$ 层隐层的网络结构，同时为了方便编程实现，将其向量化，得到如下公式：
$$\delta^{h+1} = (d - o) .* f'(o)\\ \delta^{h} = (W^{h+1}[1:] * \delta ^{h+1}) .* f'(y^{h}[1:])\\ \Delta W^{h} = \eta (y^{h-1} * (\delta ^{h})^{T})$$