BP神经网络推导过程

1. 符号定义

• 本文以单隐藏层的神经网络结构，均方误差为损失函数为例来详细推导各个参数的梯度更新。
• 给定训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , x i ∈ R d , y i ∈ R l D=\left\{\bm{(x_1, y_1), (x_2, y_2),...,(x_m, y_m)}\right\}, \bm{x}_i\in \Bbb R^d, \bm y_i \in \Bbb R^l D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},xi​∈Rd,yi​∈Rl, 即输入示例由$d$个属性描述，输出$l$维实值向量。为便于讨论图1给出了一个拥有$d$个输入神经元、$l$个输出神经元、$q$个隐层神经元的多层前馈网络结构，其中输出层第$j$个神经元的阀值用${\theta }_j$表示，隐层第$h$个神经元的阔值用${\gamma }_h$ 表示。输入层第$i$个神经元与隐居第$h$个神经元之间的连接权为$v_{ih}$，隐层第$h$个神经元与输出层第$j$个神经元之间的连接权为$w_{hj}$。
• 记隐层第$h$个神经元接收到的输入为${\alpha }_h={\sum }_{i=1}^d{v}_{ih}{x}_i$，输出层第$j$个神经元接收到的输入为$\beta ={\sum }_{h=1}^q{w}_{hj}{b}_h$，其中$b_h$为隐层第$h$个神经元的输出。假设隐层和输出层神经元都使用$Sigmoid$函数$f(x)=\frac{1}{1+e^{-x}}$。
• 对训练例$({\mathbf{x}}_{\mathbf{k}},{\mathbf{y}}_{\mathbf{k}})$，假定神经网络的输出为${\hat{\mathbf{y}}}_k=({\hat{y}}_1^k,{\hat{y}}_2^k,...,{\hat{y}}_l^k)$，即
  $${\hat{y}}_j^k=f({\beta }_j-{\theta }_j)\text{\hspace{1em}(1)}$$
  网络在$({\mathbf{x}}_{\mathbf{k}},{\mathbf{y}}_{\mathbf{k}})$上的均方误差为
  $$E_k=\frac{1}{2}\sum _{j=1}^l{({\hat{y}}_j^k-y_j^k)}^2\text{\hspace{1em}(2)}$$
  
  图1 BP 络及算法中的交量符号
  BP算法基于梯度下降（gradient descent）策略，以目标的负梯度方向对参数进行更新。任意参数$v$的更新估计式为
  $$v\leftarrow v+\Delta v$$

2. 隐藏层到输出层的权重更新

本节对图1中的隐层到输出层的连接权重$w_{hj}$的更新进行推导。
对公式(1)的误差$E_k$，给定学习速率$\eta$，有权重$w_{hj}$的更新公式为
$$\Delta w_{hj}=-\eta \frac{\partial E_k}{\partial w_{hj}}\text{\hspace{1em}(3)}$$
根据图1可知，$w_{hj}$先影响到第$j$个输出层神经元的输入值${\beta }_j$，然后${\beta }_j$再影响到该神经元的输出值${\hat{y}}_j^k$，最后${\hat{y}}_j^k$影响到$E_k$，因此$E_k$对$w_{hj}$的偏导数可改写为
$$\frac{\partial E_k}{\partial w_{hj}}=\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}\text{\hspace{1em}(4)}$$
根据${\beta }_j$的定义，显然有
$$\frac{\partial {\beta }_j}{\partial w_{hj}}=\frac{\partial }{w_{hj}}(\sum _{h=1}^q{w}_{hj}{b}_h)=b_h\text{\hspace{1em}(5)}$$
由于$Sigmoid$函数有一个很好的性质：
$$f^{\prime }(x)=f(x)(1-f(x))\text{\hspace{1em}(6)}$$
因此根据公式(1)和(2)，有
$$\begin{array}{rl}{g}_j& =-\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\\ & =-({\hat{y}}_j^k-y_j^k)f^{\prime }({\beta }_j-{\theta }_j)\\ & =-({\hat{y}}_j^k-y_j^k){\hat{y}}_j^k(1-{\hat{y}}_j^k)\\ & ={\hat{y}}_j^k(1-{\hat{y}}_j^k)(y_j^k-{\hat{y}}_j^k)\end{array}\text{\hspace{1em}(7)}$$

将公式(5)和(7)带入公式(4)，再带入公式(3)，就得到了BP算法中关于权重$w_{hj}$的更新公式
$$\Delta w_{hj}=\eta g_j{b}_h\text{\hspace{1em}(8)}$$

3. 输出层神经元阈值更新

对于输出层第$j$个神经元的阈值${\theta }_j$，它首先影响到该神经元的输出值${\hat{y}}_j^k$，再影响到$E_k$，因此有
$$\begin{array}{rl}\Delta {\theta }_j& =-\eta \frac{\partial E_k}{\partial {\theta }_j}\\ & =-\eta \frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\theta }_j}\\ & =-\eta ({\hat{y}}_j^k-y_j^k)f^{\prime }({\beta }_j-{\theta }_j)\\ & =-\eta ({\hat{y}}_j^k-y_j^k)[-{\hat{y}}_j^k(1-{\hat{y}}_j^k)]\\ & =-\eta [{\hat{y}}_j^k(1-{\hat{y}}_j^k)(y_j^k-{\hat{y}}_j^k)\\ & =-\eta g_j\end{array}\text{\hspace{1em}(9)}$$

4. 输入层到隐藏层的权重更新

对于输入层的第$i$个神经元到隐藏层的第$h$个神经元的权重值$v_{ih}$，它首先影响到隐藏层第$h$个神经元的输入值${\alpha }_h$，然后${\alpha }_h$再影响到第$h$个神经元的输出值$b_h$，最后$b_h$再影响到$E_k$。以下推导$E_k$对$v_{ih}$的偏导数：
$$\frac{\partial E_k}{\partial v_{ih}}=\frac{\partial E_k}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}\cdot \frac{\partial {\alpha }_h}{\partial v_{ih}}\text{\hspace{1em}(10)}$$
首先考虑第三项：
$$\frac{\partial {\alpha }_h}{\partial v_{ih}}=x_i\text{\hspace{1em}(11)}$$
其次考虑第一项和第二项的乘积，如公式(12)所示，先考虑第二项的导数结果：
$$\begin{array}{rl}& \frac{\partial E_k}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}\\ & =\frac{\partial E_k}{\partial b_h}\cdot f^{\prime }({\alpha }_h+{\gamma }_h)\\ & =\frac{\partial E_k}{\partial b_h}\cdot b_h(1-b_h)\end{array}\text{\hspace{1em}(12)}$$

下面考虑$E_k$对$b_h$的偏导数，据图1可知$b_h$先影响到${\beta }_j$，然后${\beta }_j$影响到${\hat{y}}_j^k$。由于${\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h=w_{1j}{b}_1+...+w_{hj}{b}_h+...+w_{qj}{b}_q$，因此$b_h(h=1,...,q)$会对所有的${\beta }_j(j=1,...,l)$产生影响，需对所有的${\beta }_j$求和：

$$\begin{array}{rl}\frac{\partial E_k}{\partial b_h}& =\sum _{j=1}^l\frac{\partial E_k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}\\ & =\sum _{j=1}^l(\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j})\cdot w_{hj}\\ & =-\sum _{j=1}^l{g}_j{w}_{hj}\end{array}\text{\hspace{1em}(13)}$$

将公式(13)带入(12)中有
$$\frac{\partial E_k}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}=-b_h(1-b_h)\cdot \sum _{j=1}^l{g}_j{w}_{hj}\text{\hspace{1em}(14)}$$
令
$$e_h=-\frac{\partial E_k}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}=b_h(1-b_h)\cdot \sum _{j=1}^l{g}_j{w}_{hj}\text{\hspace{1em}(15)}$$

将公式(15)和公式(11)带入公式(10)中有
$$\frac{\partial E_k}{\partial v_{ih}}=e_h{x}_i\text{\hspace{1em}(16)}$$
进一步可得
$$\Delta v_{ih}=\eta e_h{x}_i\text{\hspace{1em}(17)}$$

5. 隐藏层神经元阈值更新

对于隐藏层第$h$个神经元的阈值${\gamma }_h$, 它首先影响到
$$\begin{array}{rl}\frac{\partial E_k}{\partial {\gamma }_h}& =\frac{\partial E_k}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\gamma }_h}\\ & =\frac{\partial E_k}{\partial b_h}\cdot f^{\prime }({\alpha }_h+{\gamma }_h)\\ & =\frac{\partial E_k}{\partial b_h}\cdot b_h(1-b_h)\end{array}\text{\hspace{1em}(18)}$$

将公式(13)带入(18)有
$$\frac{\partial E_k}{\partial {\gamma }_h}=-b_h(1-b_h)\cdot \sum _{j=1}^l{g}_j{w}_{hj}=-e_h\text{\hspace{1em}(19)}$$
因此有
$$\Delta {\gamma }_h=-\eta \frac{\partial E_k}{\partial {\gamma }_h}=\eta e_h\text{\hspace{1em}(20)}$$

参考资料：
周志华《机器学习》5.3节BP神经网络内容