BP(BackPropagation)误差逆传播算法

上篇文章介绍了多层前馈神经网络，那么这种网络是怎样训练生成的呢，BP算法就是其中一种生成多层神经网络的算法 ，又称为反向传播算法，下面来了解一下BP算法。
举例：
下图中是根据一个手写数字辨识的神经网络简单结构，假设输入是一个图片，将图片读入转变成一个多维向量，即左边的多个输入值，根据多层神经网络，计算权重，并不断调整权值，使其更精确，最终通过$softmax$函数一作用，将神经元值就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，转变成十个数字类别中的一个输出（分类问题，比较是哪一个数字的概率最大）。（在神经网络中经常用到$softmax$函数。）

首先了解一下数学中的链式求导法则，后续将会用到：
$$\begin{gathered} y=g(x)z=h(y) \\ \Delta x\to \Delta y\to \Delta z\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx} \end{gathered}$$

$$\begin{gathered} x=g(s)y=h(s)z=k(x,y) \\ \frac{dz}{ds}=\frac{\partial z}{\partial x}\frac{dx}{ds}+\frac{\partial z}{\partial y}\frac{dy}{ds} \end{gathered}$$

神经网络一般有三个部分构成，输入层，隐层，输出层
下图可看出输入层$\mathbf{x}$是一个样本数据的多个属性,输出层是输出输入的数据时属于哪个类别
输出层和输入层之间的部分称之为隐层，有多层和多个神经元构成。

构建神经网络的过程是一个不断迭代的过程，
如下图，我们可以看到最终的输出结果$y$，可以通过不断的迭代，推到输入层$\mathbf{x}$，其中这里的$\mathbf{\sigma }$表示激活函数，由神经网络的特点可以知道，隐层中每个神经元都有激活函数，每一层的输入都是前一层的输出。（详细了解神经网络的特点可参考前面初识神经网络初识神经网络的文章）。

一个简单的神经网络运算如下，可以写成矩阵形式，进行矩阵操作。

由于神经网络的构成是前一层和后一层两两相连，前一层输出（各值之和）是后一层的输入。在某一个神经元上，我们就可以用梯度下降法来调整参数$w_i以及偏置b(又称阙值\theta )$，梯度下降法要知道各个点的梯度，来确定调整参数的方向，因问题转变为我们需要求解各点的偏导数。
假设，$l^n(\theta )$表示第n个样本值训练的损失函数，$L(\theta )$是所有样本值的损失函数之和，反向传播算法是训练每一个样本值的属性对应的权重和阙值，一个训练集有N个训练样本。（这里的$\theta$代表损失函数中的多个未知数）
$$L(\theta )=\sum _{n=1}^N{l}^n(\theta )⟶\frac{\partial L(\theta )}{\partial w}=\sum _{n=1}^N\frac{\partial l^n(\theta )}{\partial w}$$

注：一般$l$可设为$\frac{1}{2}{\sum }_{i=1}^n({\hat{y}}_i-y)$，即误差函数,$l=\frac{1}{2}{\sum }_{i=1}^n({\hat{y}}_i-y)$,$\frac{1}{2}$是为了求导方便。
即求得每一个训练样本的损失函数，将其相加就是训练集的损失函数（误差函数）。因此我们要计算$$\frac{\partial L(\theta )}{\partial w}=\sum _{n=1}^N\frac{\partial l^n(\theta )}{\partial w}$$
那我们应该思考怎样计算$\frac{\partial l}{\partial w}$。
首先来看输入层：
假设某数据有两个属性，取样本点$\mathbf{x}$有属性值$（x_1,x_2），输出(y_1,y_2)$，
一个样本输入神经元和隐层连接如下图：

则：$$\frac{\partial l}{\partial w}=\frac{\partial l}{\partial z}\frac{\partial z}{\partial w}$$
其中由$z=x_1{w}_1+x_2{w}_2+b$可以看出：$\frac{\partial z}{\partial w_1}=x_1,\frac{\partial z}{\partial w_2}=x_2$即偏导数等于前向传播中的输出值$x$,在这里相当于参数，很容易得到，因为样本值$x$已知，由输入向输出计算即可推得。
如图（注;$z⟶sigmoid激活函数⟶0.12,$每个神经元都有激活函数）：


接下来就是求$\frac{\partial \mathbf{l}}{\partial \mathbf{z}}$,


首先应该确定$\mathbf{z}$和$\mathbf{l}$的决定关系，因为：

由链式求导法则得：
$$\frac{\partial l}{\partial z}=\frac{\partial l}{\partial a}\frac{\partial a}{\partial z}$$$$因为a=\sigma (z)(激活函数已知),所以\frac{\partial a}{\partial z}={\sigma }^{\prime }(z);$$
即现在要求$\frac{\partial l}{\partial a}$：$$\frac{\partial l}{\partial a}=\frac{\partial l}{\partial z^{\prime }}\frac{\partial z^{\prime }}{\partial a}+\frac{\partial l}{\partial z^{\prime \prime }}\frac{\partial z^{\prime \prime }}{\partial a}$$
由图中可以容易看出$a⟶z\prime ,a⟶z\prime \prime ,(前一个a是后一个z的输入)$
所以：$$\frac{\partial z^{\prime }}{\partial a}=w_3$$$$\frac{\partial z^{\prime \prime }}{\partial a}=w_4$$
所以;$$\frac{\partial \mathbf{l}}{\partial \mathbf{z}}={\mathbf{\sigma }}^{\prime }(\mathbf{z})\left[{\mathbf{w}}_3\frac{\partial \mathbf{l}}{\partial {\mathbf{z}}^{\prime }}+{\mathbf{w}}_4\frac{\partial \mathbf{l}}{\partial {\mathbf{z}}^{\prime \prime }}\right]$$
上面的式子可以看出下面的形式(反向传播)：


要求$\frac{\partial l}{\partial z}$，现在问题转变成求$$\frac{\partial l}{\partial z^{\prime }}，\frac{\partial l}{\partial z^{\prime \prime }}$$
在这里可以看出求$\frac{\partial l}{\partial z^{\prime }}，\frac{\partial l}{\partial z^{\prime \prime }}$的过程和求$\frac{\partial l}{\partial z}$的过程很相似，需要继续求得$z\prime ,z\prime \prime$后面的关于$l$的偏导数。

1. 假设是$z\prime ,z\prime \prime$在输出层：
   
   $$\frac{\partial l}{\partial z^{\prime }}=\frac{\partial l}{\partial y_1}\frac{\partial y_1}{\partial z^{\prime }}\frac{\partial l}{\partial z^{\prime \prime }}=\frac{\partial l}{\partial y_2}\frac{\partial y_2}{\partial z^{\prime \prime }}$$
2. $z\prime ,z\prime \prime$在隐层中，我们需要继续先求后面的$\frac{\partial l}{\partial z_a}$,$\frac{\partial l}{\partial z_b}$，然后再求$\frac{\partial l}{\partial z^{\prime }}$,$\frac{\partial l}{\partial z^{\prime \prime }}$：
   
   上面的前向传播的过程是递归的过程即每算一个偏导数需要先求得下一个偏导数，直到递归到输出层偏导数已知，然后回溯计算当前偏导数，计算较为繁琐；由于已知输出值，现在我们从输出层开始，从后往前求得偏导数，即反向传播：
   
   
   先算出：$\frac{\partial l}{\partial z_5}$,$\frac{\partial l}{\partial z_6}$,再计算$\frac{\partial l}{\partial z_3}$,
   
   根据前面的公式可得：
   $$\frac{\partial l}{\partial z_3}={\sigma }^{\prime }(z_3)\left[w_3\frac{\partial l}{\partial z_5}+w_4\frac{\partial l}{\partial z_6}\right]$$以此类推。这是一个不断迭代的过程。
   
   现在回到最初我们要求的是某个神经元$\frac{\partial \mathbf{l}}{\partial \mathbf{w}}$,然后根据偏导数求得梯度，进行梯度下降求使得损失函数最小的$w$,第k+1次更新：
   $$w^{k+1}⟵w^k-\eta \ast g^k$$
   由前向和后向传播可得到$\frac{\partial \mathbf{l}}{\partial \mathbf{w}}，（g^k）$。
   
   因此，神经网络求参的过程就迎刃而解了。