深度学习——反向传播(BP)算法

深度学习——反向传播(BP)算法

1、BP算法引入

1.1 网络基本结构

在之前的文章深度学习——神经网络前向传播与反向求导过程中，我们简单的构建了一个简单的神经网络，描述了其前向传播过程和反向求导的过程。之前的描述的网络结构十分简单，仅仅包含一层的输入层，一层的隐藏层和一层的输出层，并且输出层是一个标量的输出。通常情况下，一个完整的神经网络是要包含多层隐藏层的。下面，我们就具体来展示一下。

上图是具有两层隐藏层的神经网络结构。

提示:在神经网络中，一般情况下，隐藏层的节点数量是不固定的，下面给出一个经验公式来确定隐藏层节点的数量：
$$h=\sqrt{m+n}+a$$
其中h是隐藏层节点的数量，m是输入节点的数量，n是输出节点的数量，a是一个1~10之间的一个常数。

1.2 网络参数

训练样本集合：
D = { ( X 1 , Y 1 ) , ( X 2 , Y 2 ) , . . . . . . ( X N , Y N ) } D=\{(X_1,Y_1),(X_2,Y_2),......(X_N,Y_N)\} D={(X1​,Y1​),(X2​,Y2​),......(XN​,YN​)}
其中每一个样本$X_i$包含两个属性，表示为
$$X_i=\begin{array}{c}{x}_1\\ x_2\end{array}$$
其中每一个样本的标签$Y_i$包含两个属性，表示为
$$Y_i=\begin{array}{c}{y}_1\\ y_2\end{array}$$
权重矩阵包括三个，第一个是输入层向第一层隐藏层输入的权重矩阵W，第二个是第一层隐藏层向第二层隐藏层输入的权重矩阵V，第三个是第二层隐藏层向输出层的权重矩阵U。分别表示为：
$$W=\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\end{array}$$
$$V=\begin{array}{ccc}{v}_{11}& v_{12}& v_{13}\\ v_{21}& v_{22}& v_{23}\\ v_{31}& v_{32}& v_{33}\end{array}$$
$$U=\begin{array}{cc}{u}_{11}& u_{12}\\ u_{21}& u_{22}\\ u_{31}& u_{32}\end{array}$$

1.3 前向传播过程

具体的传播过程，我们已经在之前的文章中提到过，所以，我们在这里仅仅出代码的实现过程。

#encoding=utf-8
import numpy as np
def sigmoid(x):
    return 1/(1+np.exp(-x))
class NetWork:
    def __init__(self,input_dim,hidden1_dim,hidden2_dim,output_dim):
        self.input_dim = input_dim
        self.hidden1_dim = hidden1_dim
        self.hidden2_dim = hidden2_dim
        self.output_dim = output_dim
        self.W = np.random.rand(input_dim,hidden1_dim)
        self.B1 = np.random.rand(hidden1_dim,1)
        self.V = np.random.rand(hidden1_dim,hidden2_dim)
        self.B2 = np.random.rand(hidden2_dim,1)
        self.U = np.random.rand(hidden2_dim,output_dim)
        self.B3 = np.random.rand(output_dim,1)
    def forward(self,X):
        '''注意，这里我们先采用的逐个样本的计算方式，激活方式采用的是sigmoid激活函数'''
        net1 = np.dot(self.W.T,X) + self.B1
        H1 = sigmoid(net1)
        net2 = np.dot(self.V.T,H1) + self.B2
        H2 = sigmoid(net2)
        Y = np.dot(self.U.T,H2) + self.B3
        return net1,net2,H1,H2,Y

其计算的基本公式为:
$$ne{t}_1=W^{T}X+B1$$
$$h_1=sigmoid(ne{t}_1)$$
$$ne{t}_2=V^T{h}_1+B2$$
$$h_2=sigmoid(ne{t}_2)$$
$$Y=U^{T}h2+B3$$

2 反向传播(BP)算法

2.1 反向传播算法概述

对于一般的前馈神经网络而言，其训练的过程及时不断的调节网络中的权重和偏置项两类参数，前馈型神经网络。前馈神经网络的训练方法主要是反向传播算法，反向传播算法包括正向的输出过程和反向的误差传播过程。正向过程就是我们上面的描述的从输入到输出的前向传播过程。反向误差传播过程则是根据输出值反向逐层调整网络的权重和偏置项。

2.2反向传播算法的过程计算

2.2.1 误差函数的选择

这里我们依然采用的是MSE的误差计算函数，其基本公式为：
$$J=\frac{1}{2}\ast \sum _{i=1}^b(y_{ri}-y_i{)}^2$$
其中labelY共有b个属性，$y_{ri}$表示y的第i个属性的真实值。$y_i$表示第i个属性的预测值。

2.2.2 对于net求导

为了方便展示，我们再次将网络结构图进行展示。

上面，我们提到了反向传播是一个逐层进行的过程。我首先计算出输出层的误差为：
$$J=\frac{1}{2}\ast \sum _{i=1}^2(y_{ri}-y_i{)}^2$$

1. 我们先对输出层求导。计算过程为：
   $$\begin{array}{c}\frac{\partial J}{\partial y_1}\\ \\ \frac{\partial J}{\partial y_2}\end{array}=\begin{array}{c}\frac{\partial \frac{1}{2}(y_{r1}-y_1)+(y_{r2}-y_2)}{\delta y_1}\\ \\ \frac{\delta \frac{1}{2}(y_{r1}-y_1)+(y_{r2}-y_2)}{\delta y_2}\end{array}=\begin{array}{c}{y}_1-y_{r1}\\ \\ y_2-y_{r2}\end{array}$$
   我们将J关于Y的偏导数记为：
   $${\delta }_y=Y-Y_r$$

2. 下面我们要计算的是对于$ne{t}_2$的偏导数，$ne{t}_2$表示的是对于输入到第二隐藏的各个神经单元未激活时的数据。一共包含三个单元，$ne{t}_{21},ne{t}_{22},ne{t}_{23}$
   首先计算对于$ne{t}_{21}$的导数值。
   $$\frac{\partial J}{\partial ne{t}_{21}}=\frac{\partial J}{\partial y_1}\frac{\partial y_1}{\partial h_{21}}\frac{\partial h_{21}}{\partial ne{t}_{21}}+\frac{\partial J}{\partial y_2}\frac{\partial y_2}{\partial h_{21}}\frac{\partial h_{21}}{\partial ne{t}_{21}}=\sum _{i=1}^L\frac{\partial J}{\partial y_i}\ast U_{1i}\ast h_{21}\ast (1-h_{21})$$
   同理可以计算另外两个神经单元：
   $$\frac{\partial J}{\partial ne{t}_{22}}=\frac{\partial J}{\partial y_1}\frac{\partial y_1}{\partial }{h}_{22}\frac{\partial h_{22}}{\partial ne{t}_{22}}+\frac{\partial J}{\partial y_2}\frac{\partial y_2}{\partial h_{22}}\frac{\partial h_{22}}{\partial ne{t}_{22}}=\sum _{i=1}^L\frac{\partial J}{\partial y_i}\ast U_{2i}\ast h_{22}\ast (1-h_{22})$$
   $$\frac{\partial J}{\partial ne{t}_{23}}=\frac{\partial J}{\partial y_1}\frac{\partial y_1}{\partial h_{23}}\frac{\partial h_{21}}{\partial ne{t}_{23}}+\frac{\partial J}{\partial y_2}\frac{\partial y_2}{\partial h_{23}}\frac{\partial h_{23}}{\partial ne{t}_{23}}=\sum _{i=1}^L\frac{\partial J}{\partial y_i}\ast U_{3i}\ast h_{23}\ast (1-h_{23})$$

整理成向量的形式为：
$${\delta }_{ne{t}_2}=\frac{\delta J}{\delta ne{t}_2}=\begin{array}{c}\frac{\delta J}{\delta ne{t}_{21}}\\ \\ \frac{\delta J}{\delta ne{t}_{22}}\\ \\ \frac{\delta J}{\delta ne{t}_{23}}\\ \end{array}=U^T{\delta }_Y\ast h_2\ast (1-h_2)$$
3. 最后我们要计算的是关于$ne{t}_1$的偏导数。
首先计算对于$ne{t}_{11}$的导数值。
我首先对$ne{t}_{11}$向上的传递过程进行分析。$ne{t}_{11}$通过激活函数生成$h_{11}$，然后$h_{11}$j将值分别传递给了$h_{21},h_{22},h_{23}$，最后$h_{21},h_{22},h_{23}$又分别将信息传递给了$y_1,y_2$。则通过链式法则，我们不难发现有以下几个步骤：

a). 总误差J对$y_1,y_2$求导形成误差δY。
b). $h_2$层的每个单元分别从$y_1,y_2$处获得误差和，求导之后形成$ne{t}_2$的误差
c}. $h_{11}$分别从$h_2$层的每一个单元获得误差，求和，计算出总的误差值。
d). 根据$h_{11}$获得的误差值，求导，确定了$ne{t}_{11}$的误差值。

我们采用数学方式进行表示：
a) 总误差J对Y求导表示为：
$$\delta y=\begin{array}{c}\delta y_1\\ \delta y_2\end{array}$$
b) 形成$Y到ne{t}_2$的误差
$${\delta }_{ne{t}_2}=\frac{\delta Y}{\delta ne{t}_2}$$
c) 形成从$ne{t}_2$到$h_{11}$的误差：
$$\sum _{i=1}^3\frac{ne{t}_{2i}}{h_{11}}=V_{11}+V_{12}+V_{13}$$
d). 形成从$h_{11}$的到$ne{t}_{11}$的误差：
$$\frac{\partial h_{11}}{\partial ne{t}_{11}}=h_{11}\ast (1-h_{11})$$

$ne{t}_{12},ne{t}_{13}$的误差传递过程与$ne{t}_{11}$类似，只不过是从$h_{12},h_{13}$处获取误差值。

我们利用链式法则对于上述的误差传递过程进行总结得到：
$${\delta }_{ne{t}_1}=\frac{\partial J}{\partial ne{t}_1}=V^T{\delta }_2\ast h_1\ast (1-h_1)=\begin{array}{c}\frac{\partial J}{\partial ne{t}_{11}}\\ \\ \frac{\partial J}{\partial ne{t}_{12}}\\ \\ \frac{\partial J}{\partial ne{t}_{13}}\end{array}$$

其中”*“表示对位相乘，其他表示矩阵相乘。

2.3 总结

我们发现了，对于BP算法的核心，就是对于各个net进行求导计算误差，在这过程中，我们可以发现，对于底层的net的导数，根据链式法则，可以复用高层次的net的导数。那么，为什么要对net求导呢？
我们根据前向传播的公式可以看出，参数W，V，U是和net直接相关的，也就是说，我们在确定了net的导数之后，可以直接确定参数权重的导数。

3、反向传播的权重更新

3.1 计算相关权重的最终梯度

3.1.1 关于U的梯度

$$[\frac{\partial J}{\partial u_{11}},\frac{\partial J}{\partial u_{12}}]=[\frac{\partial J}{\partial y_1}\ast \frac{\partial y_1}{\partial u_{11}},\frac{\partial J}{\partial y_2}\ast \frac{\partial y_2}{\partial u_{12}}]$$
$$[\frac{\partial J}{\partial u_{21}},\frac{\partial J}{\partial u_{22}}]=[\frac{\partial J}{\partial y_1}\ast \frac{\partial y_1}{\partial u_{21}},\frac{\partial J}{\partial y_2}\ast \frac{\partial y_2}{\partial u_{22}}]$$
$$[\frac{\partial J}{\partial u_{31}},\frac{\partial J}{\partial u_{32}}]=[\frac{\partial J}{\partial y_1}\ast \frac{\partial y_1}{\partial u_{31}},\frac{\partial J}{\partial y_2}\ast \frac{\partial y_2}{\partial u_{32}}]$$

整理一下，误差对于权重U的梯度为
$$\frac{\partial J}{\partial U}=\begin{array}{cc}\frac{\partial J}{\partial u_{11}}& \frac{\partial J}{\partial u_{12}}\\ \frac{}{}& \frac{}{}\\ \frac{\partial J}{\partial u_{11}}& \frac{\partial J}{\partial u_{12}}\\ \frac{}{}& \frac{}{}\\ \frac{\partial J}{\partial u_{11}}& \frac{\partial J}{\partial u_{12}}\end{array}=\frac{\partial J}{\partial Y}\ast [h_2||h_2]={\delta }_Y\ast [h2||h2]$$
其中$h_2$表示第二个隐藏层的神经单元，具体为：
$$\begin{array}{c}{h}_{21}\\ h_{22}\\ h_{23}\end{array}$$
下面的$h1,X$类似。

3.1.2 关于V的梯度

根据输入
$$ne{t}_2=V^T{h}_1+B2$$
有
$$\begin{gathered} \frac{\partial ne{t}_2}{\partial V_{11}}=\frac{\partial ne{t}_{21}}{\partial V_{11}}=h_{11} \\ \frac{}{} \\ \frac{\partial ne{t}_2}{\partial V_{12}}=\frac{\partial ne{t}_{22}}{\partial V_{12}}=h_{11} \\ \frac{}{} \\ \frac{\partial ne{t}_2}{\partial V_{13}}=\frac{\partial ne{t}_{23}}{\partial V_{12}}=h_{11} \end{gathered}$$
同理可以计算$ne{t}_2$关于V中其他单元的导数。则总误差J对于V的各个元素的偏导数为
$$\frac{\partial J}{\partial V}={\delta }_{ne{t}_2}\ast [h1|h1|h1]$$

3.1.3 关于W的梯度

根据输入：
$$ne{t}_1=W^{T}X+B1$$
有：
$$\begin{gathered} \frac{\partial ne{t}_1}{\partial W_{11}}=\frac{\partial ne{t}_{11}}{\partial W_{11}}=X_1 \\ \frac{}{} \\ \frac{\partial ne{t}_1}{\partial W_{12}}=\frac{\partial ne{t}_{12}}{\partial W_{12}}=X_1 \\ \frac{}{} \\ \frac{\partial ne{t}_1}{\partial W_{13}}=\frac{\partial ne{t}_{13}}{\partial W_{13}}=X_1 \end{gathered}$$
同理，可以计算其他W元素的偏导数，则总的误差对于整个W的偏导数为：
$$\frac{\partial J}{\partial W}={\delta }_{ne{t}_1}^T\ast [X|X|X{]}^T$$

3.1.4 关于B1,B2,B3的梯度

根据输入$$Y=U^{T}h2+B3$$
可以确定：
$$\begin{array}{c}\frac{\partial y_1}{\partial B_{31}}=1\\ \frac{}{}\\ \frac{\partial y_2}{\partial B_{32}}=1\end{array}$$
则有：
$$\frac{\partial J}{B_3}={\delta }_Y$$
同理可以计算出关于B2，B1的梯度为${\delta }_{ne{t}_2}，{\delta }_{ne{t}_1}$。

3.2 梯度更新

$$W_{new}=W-\alpha \frac{\partial J}{\partial W}，B{1}_{new}=B1-\alpha \frac{\partial J}{\partial B1}$$
$$V_{new}=V-\alpha \frac{\partial J}{\partial V}，B{2}_{new}=B2-\alpha \frac{\partial J}{\partial B2}$$
$$U_{new}=U-\alpha \frac{\partial J}{\partial U}，B{3}_{new}=B3-\alpha \frac{\partial J}{\partial B3}$$
其中α是学习率。