深度神经网络（DNN）反向传播算法（BP）

     \quad\;\; 在深度神经网络（DNN）模型与前向传播算法中，我们对DNN的模型和前向传播算法做了总结，这里我们更进一步，对DNN的反向传播算法（Back Propagation，BP）做一个总结。

1. DNN反向传播算法要解决的问题

     \quad\;\; 在了解DNN的反向传播算法前，我们先要知道DNN反向传播算法要解决的问题，也就是说，什么时候我们需要这个反向传播算法？
     \quad\;\; 回到我们监督学习的一般问题，假设我们有m个训练样本： { ( x 1 ， y 1 ) ， ( x 2 ， y 2 ) ， . . . ， ( x m ， y m ) } \{(x_1，y_1)， (x_2，y_2)， ...， (x_m，y_m)\} {(x1​，y1​)，(x2​，y2​)，...，(xm​，ym​)}，其中$x$为输入向量，特征维度为$n\_in$，而$y$为输出向量，特征维度为$n\_out$。我们需要利用这m个样本训练出一个模型，当有一个新的测试样本$(x_{test}，?)$来到时， 我们可以预测$y_{test}$向量的输出。
     \quad\;\; 如果我们采用DNN的模型，即我们使输入层有$n\_in$个神经元，而输出层有$n\_out$个神经元。再加上一些含有若干神经元的隐藏层。此时我们需要找到合适的所有隐藏层和输出层对应的线性系数矩阵$W$，偏倚向量$b$，让所有的训练样本输入计算出的输出尽可能的等于或很接近样本输出。怎么找到合适的参数呢？
     \quad\;\; 如果大家对传统的机器学习的算法优化过程熟悉的话，这里就很容易联想到我们可以用一个合适的损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小化的极值，对应的一系列线性系数矩阵$W$，偏倚向量$b$即为我们的最终结果。在DNN中，损失函数优化极值求解的过程最常见的一般是通过梯度下降法来一步步迭代完成的，当然也可以是其他的迭代方法比如牛顿法与拟牛顿法。如果大家对梯度下降法不熟悉，建议先阅读我之前写的梯度下降（Gradient Descent）小结。
     \quad\;\; 对DNN的损失函数用梯度下降法进行迭代优化求极小值的过程即为我们的反向传播算法。
     \quad\;\; 本篇使用了矩阵向量求导，如果你对这一块不熟悉，请先阅读下我写的矩阵向量求导文章。

2. DNN反向传播算法的基本思路

     \quad\;\; 在进行DNN反向传播算法前，我们需要选择一个损失函数，来度量训练样本计算出的输出和真实的训练样本输出之间的损失。你也许会问：训练样本计算出的输出是怎么得来的？这个输出是随机选择一系列$W，b$，用我们上一节的前向传播算法计算出来的。即通过一系列的计算：$a^l=\sigma (z^l)=\sigma (W^l{a}^{l-1}+b^l)$。计算到输出层第$L$层对应的$a^L$即为前向传播算法计算出来的输出。
     \quad\;\; 回到损失函数，DNN可选择的损失函数有不少，为了专注算法，这里我们使用最常见的均方差来度量损失。即对于每个样本，我们期望最小化下式：
$$J(W,b,x,y)=\frac{1}{2}||a^L-y|{|}_2^2$$
     \quad\;\; 其中，$a^L$和$y$为特征维度为$n\_out$的向量，而$||S|{|}_2$为S的L2范数。
     \quad\;\; 损失函数有了，现在我们开始用梯度下降法迭代求解每一层的$W，b$。
     \quad\;\; 首先是输出层第$L$层。注意到输出层的$W，b$满足下式：
$$a^L=\sigma (z^L)=\sigma (W^L{a}^{L-1}+b^L)$$
     \quad\;\; 这样对于输出层的参数，我们的损失函数变为：
$$J(W,b,x,y)=\frac{1}{2}||a^L-y|{|}_2^2=\frac{1}{2}|\sigma (W^L{a}^{L-1}+b^L)-y|{|}_2^2$$
     \quad\;\; 这样求解$W，b$的梯度就简单了：
$$\begin{gathered} \frac{\partial J(W,b,x,y)}{\partial W^L}=[(a^L-y)\odot {\sigma }^{{}^{\prime }}(z^L)](a^{L-1}{)}^T \\ \frac{\partial J(W,b,x,y)}{\partial b^L}=(a^L-y)\odot {\sigma }^{{}^{\prime }}(z^L) \end{gathered}$$
     \quad\;\; 注意上式中有一个符号$\odot$，它代表Hadamard积，对于两个维度相同的向量$A(a_1，a_2，...a_n{)}^T$和$B(b_1，b_2，...b_n{)}^T$，则$A\odot B=(a_1{b}_1，a_2{b}_2，...，a_n{b}_n{)}^T$。
     \quad\;\; 我们注意到在求解输出层的$W，b$的时候，有中间依赖部分$\frac{\partial J(W,b,x,y)}{\partial z^L}$，因此我们可以把公共的部分即对$z^L$先算出来，记为：
$${\delta }^L=\frac{\partial J(W,b,x,y)}{\partial z^L}=(a^L-y)\odot {\sigma }^{{}^{\prime }}(z^L)$$
     \quad\;\; 现在我们终于把输出层的梯度算出来了，那么如何计算上一层$L-1$层的梯度，上上层$L-2$层的梯度呢？这里我们需要一步步的递推，注意到对于第$l$层的未激活输出$z^l$，它的梯度可以表示为:
$${\delta }^l=\frac{\partial J(W,b,x,y)}{\partial z^l}=(\frac{\partial z^L}{\partial z^{L-1}}\frac{\partial z^{L-1}}{\partial z^{L-2}}...\frac{\partial z^{l+1}}{\partial z^l}{)}^T\frac{\partial J(W,b,x,y)}{\partial z^L}$$
     \quad\;\; 如果我们可以依次计算出第$l$层的${\delta }^l$，则该层的$W^l，b^l$很容易计算？为什么呢？注意到根据前向传播算法，我们有：$$z^l=W^l{a}^{l-1}+b^l$$
     \quad\;\; 所以根据上式我们可以很方便的计算出第l层的$W^l，b^l$的梯度如下：
$$\begin{gathered} \frac{\partial J(W,b,x,y)}{\partial W^l}={\delta }^l(a^{l-1}{)}^T \\ \frac{\partial J(W,b,x,y)}{\partial b^l}={\delta }^l \end{gathered}$$
     \quad\;\; 其中，第一个式子的推导可以参考机器学习中的矩阵向量求导 链式法则中第三节的最后一个公式。
     \quad\;\; 那么现在问题的关键就是要求出${\delta }^l$了。这里我们用数学归纳法，第$L$层的${\delta }^L$上面我们已经求出， 假设第$l+1$层的${\delta }^{l+1}$已经求出来了，那么我们如何求出第$l$层的${\delta }^l$呢？我们注意到：
$${\delta }^l=\frac{\partial J(W，b，x，y)}{\partial z^l}=(\frac{\partial z^{l+1}}{\partial z^l}{)}^T\frac{\partial J(W，b，x，y)}{\partial z^{l+1}}=(\frac{\partial z^{l+1}}{\partial z^l}{)}^T{\delta }^{l+1}$$
     \quad\;\; 可见，用归纳法递推${\delta }^{l+1}$和${\delta }^l$的关键在于求解$\frac{\partial z^{l+1}}{\partial z^l}$。
     \quad\;\; 而$z^{l+1}$和$z^l$的关系其实很容易找出：
$$z^{l+1}=W^{l+1}{a}^l+b^{l+1}=W^{l+1}\sigma (z^l)+b^{l+1}$$
     \quad\;\; 这样很容易求出：$$\frac{\partial z^{l+1}}{\partial z^l}=W^{l+1}diag({\sigma }^{{}^{\prime }}(z^l))$$
     \quad\;\; 将上式带入上面${\delta }^{l+1}$和${\delta }^l$关系式我们得到：
$${\delta }^l=(\frac{\partial z^{l+1}}{\partial z^l}{)}^T\frac{\partial J(W,b,x,y)}{\partial z^{l+1}}=diag({\sigma }^{{}^{\prime }}(z^l))(W^{l+1}{)}^T{\delta }^{l+1}=(W^{l+1}{)}^T{\delta }^{l+1}\odot {\sigma }^{{}^{\prime }}(z^l)$$
     \quad\;\; 现在我们得到了${\delta }^l$的递推关系式，只要求出了某一层的${\delta }^l$，求解$W^l，b^l$的对应梯度就很简单的。

3. DNN反向传播算法过程

     \quad\;\; 现在我们总结下DNN反向传播算法的过程。由于梯度下降法有批量（Batch），小批量(mini-Batch)，随机三个变种，为了简化描述，这里我们以最基本的批量梯度下降法为例来描述反向传播算法。实际上在业界使用最多的是mini-Batch的梯度下降法。不过区别仅仅在于迭代时训练样本的选择而已。
     \quad\;\; 输入: 总层数L，以及各隐藏层与输出层的神经元个数，激活函数，损失函数，迭代步长$\alpha$，最大迭代次数MAX与停止迭代阈值$ϵ$，输入的m个训练样本 { ( x 1 ， y 1 ) ， ( x 2 ， y 2 ) ， . . . ， ( x m ， y m ) } \{(x_1，y_1)， (x_2，y_2)， ...， (x_m，y_m)\} {(x1​，y1​)，(x2​，y2​)，...，(xm​，ym​)}
     \quad\;\; 输出：各隐藏层与输出层的线性关系系数矩阵$W$和偏倚向量$b$
     \quad\;\; 1) 初始化各隐藏层与输出层的线性关系系数矩阵$W$和偏倚向量$b$的值为一个随机值。
     \quad\;\; 2）for iter from 1 to MAX：
     \quad\;\; 2-1) for i =1 to m：
          \quad\;\;\quad\;\; a) 设置DNN网络的输入$a^1=x_i$
          \quad\;\;\quad\;\; b) for $l$ = 2 to L，进行前向传播算法计算$a^{i,l}=\sigma (z^{i,l})=\sigma (W^l{a}^{i,l-1}+b^l)$
          \quad\;\;\quad\;\; c) 通过损失函数计算输出层的${\delta }^{i,L}$
          \quad\;\;\quad\;\; d) for $l$ = L-1 to 2， 进行反向传播算法计算${\delta }^{i,l}=(W^{l+1}{)}^T{\delta }^{i,l+1}\odot {\sigma }^{{}^{\prime }}(z^{i,l})$
     \quad\;\; 2-2) for $l$ = 2 to L，更新第$l$层的$W^l，b^l$:
$$\begin{gathered} W^l=W^l-\alpha \sum _{i=1}^m{\delta }^{i,l}(a^{i,l-1}{)}^T \\ {b}^l=b^l-\alpha \sum _{i=1}^m{\delta }^{i,l} \end{gathered}$$
     \quad\;\; 2-3) 如果所有$W，b$的变化值都小于停止迭代阈值$ϵ$，则跳出迭代循环到步骤3。
     \quad\;\; 3） 输出各隐藏层与输出层的线性关系系数矩阵$W$和偏倚向量$b$。

4. DNN反向传播算法小结

     \quad\;\; 有了DNN反向传播算法，我们就可以很方便的用DNN的模型去解决第一节里面提到了各种监督学习的分类回归问题。当然DNN的参数众多，矩阵运算量也很大，直接使用会有各种各样的问题。有哪些问题以及如何尝试解决这些问题并优化DNN模型与算法，我们在下一篇讲。

参考资料：

1） Neural Networks and Deep Learning by By Michael Nielsen

2） Deep Learning, book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville

3） UFLDL Tutorial