反向传播算法

使用数学公式推导反向传播算法

网络结构

此图仅用来参考，说明神经网络结构

---

符号说明

符号	含义
${\omega }_{ij}^{(l)}$	网络中第 $l-1$ 层第 $j$ 个节点到神经网络中第 $l$ 层第 $i$ 个节点之间的权重
$b_i^{(l)}$	网络中第 $l$ 层第 $i$ 个节点的偏执
$\sigma ()$	神经元激活函数，这里使用sigmoid激活函数
${\alpha }_i^{(l)}$	网络中第 $l$ 层第 $i$ 个节点的输入
${\beta }_i^{(l)}$	网络中第 $l$ 层第 $i$ 个节点的输出
$l$	神经网络的层号，这里从 1 开始（即输入层的编号为1）,共有 $L$ 层（即输出层的编号为 $L$）
$k^{(l)}$	网络中第 $l$ 层的神经元个数
$x^{(j)}$	输入层第 $j$ 个输入
${\stackrel{⌢}{y}}^{(j)}$	输出层第 $j$ 个输出
$y^{(j)}$	样本真实值得第 $j$ 个值
$E$	损失函数，这里使用均方误差

一些符号可能与网上其他博客有所出入

---

前向传播
给定训练集，前向传播的流程如下：
输入层->隐藏层：
$$\begin{gathered} {\alpha }_i^{(2)}=\sum _j^{k^{(1)}}{\omega }_{ij}^{(2)}{x}^{(j)}+b_i^{(2)} \\ {\beta }_i^{(2)}=\sigma ({\alpha }_i^{(2)}) \end{gathered}$$
隐藏层->隐藏层：
$$\begin{gathered} {\alpha }_i^{(l)}=\sum _j^{k^{(l-1)}}{\omega }_{ij}^{(l)}{\beta }_j^{(l-1)}+b_i^{(l)} \\ {\beta }_i^{(l)}=\sigma ({\alpha }_i^l) \end{gathered}$$
隐藏层->输出层：
$$\begin{gathered} {\alpha }_i^{(L)}=\sum _j^{k^{(L-1)}}{\omega }_{ij}^{(L)}{\beta }_j^{(L-1)}+b_i^{(L)} \\ {\stackrel{⌢}{y}}^{(i)}=\sigma ({\alpha }_i^L) \\ E=\frac{1}{2}\sum _j^{k^{(L)}}{({\stackrel{⌢}{y}}^{(j)}-y^{(j)})}^2 \end{gathered}$$

---

反向传播
反向传播与的核心思想只有一个——链式求导
反向传播要干什么：对待更新的各个参数求导，并将其用于用于梯度下降等优化方法更新网络参数
要对哪些参数求导：${\omega }_{ij}^{(l)}$ 和 $b_i^{(l)}$ 。

反向传播的流程如下：
首先对 ${\omega }_{ij}^{(l)}$ 求导，我们的目标是求$\frac{\partial E}{\partial {\omega }_{ij}^{(l)}}$，其公式如下：
$$\frac{\partial E}{\partial {\omega }_{ij}^{(l)}}=\sum _m^{k^{(l+1)}}\sum _n^{k^{(l+2)}}\cdots \sum _h^{k^{(L)}}\frac{\partial E}{\partial {\stackrel{⌢}{y}}^{(h)}}\frac{\partial {\stackrel{⌢}{y}}^{(h)}}{\partial {\alpha }_h^{(L)}}\frac{\partial {\alpha }_h^{(L)}}{\partial {\beta }_m^{(L-1)}}\cdots \frac{\partial {\beta }_n^{(l+2)}}{\partial {\alpha }_n^{(l+2)}}\frac{\partial {\alpha }_n^{(l+2)}}{\partial {\beta }_m^{(l+1)}}\frac{\partial {\beta }_m^{(l+1)}}{\partial {\alpha }_m^{(l+1)}}\frac{\partial {\alpha }_m^{(l+1)}}{\partial {\beta }_i^{(l)}}\frac{\partial {\beta }_i^{(l)}}{\partial {\alpha }_i^{(l)}}\frac{\partial {\alpha }_i^{(l)}}{\partial {\omega }_{ij}^{(l)}}$$
这个公式有点复杂，但思路很简单，就是利用链式求导从输出层一直求导到${\omega }_{ij}^{(l)}$所在的层。下面对该公式进行化简，令
$${\delta }_i^{(l)}=\frac{\partial E}{\partial {\alpha }_i^{(l)}}=\sum _m^{k^{(l+1)}}\sum _n^{k^{(l+2)}}\cdots \sum _h^{k^{(L)}}\frac{\partial E}{\partial {\stackrel{⌢}{y}}^{(h)}}\frac{\partial {\stackrel{⌢}{y}}^{(h)}}{\partial {\alpha }_h^{(L)}}\frac{\partial {\alpha }_h^{(L)}}{\partial {\beta }_m^{(L-1)}}\cdots \frac{\partial {\beta }_n^{(l+2)}}{\partial {\alpha }_n^{(l+2)}}\frac{\partial {\alpha }_n^{(l+2)}}{\partial {\beta }_m^{(l+1)}}\frac{\partial {\beta }_m^{(l+1)}}{\partial {\alpha }_m^{(l+1)}}\frac{\partial {\alpha }_m^{(l+1)}}{\partial {\beta }_i^{(l)}}\frac{\partial {\beta }_i^{(l)}}{\partial {\alpha }_i^{(l)}}$$
则有
$$\frac{\partial E}{\partial {\omega }_{ij}^{(l)}}={\delta }_i^{(l)}\frac{\partial {\alpha }_i^{(l)}}{\partial {\omega }_{ij}^{(l)}}={\delta }_i^{(l)}{\beta }_j^{(l-1)}$$
引入${\delta }_i^{(l)}$有什么用呢，接下来介绍反向传播算法最关键的部分：${\delta }^{(l)}$与${\delta }^{(l+1)}$之间的关系，由上面的公式很容易得到
$$\begin{gathered} {\delta }_i^{(l)}=\sum _m^{k^{(l+1)}}{\delta }_m^{(l+1)}\frac{\partial {\alpha }_m^{(l+1)}}{\partial {\beta }_i^{(l)}}\frac{\partial {\beta }_i^{(l)}}{\partial {\alpha }_i^{(l)}}={\sum }_m^{k^{(l+1)}}{\delta }_m^{(l+1)}{\omega }_{mi}^{(l+1)}{\sigma }^{\prime }({\alpha }_i^{(l)}) \\ {\delta }_i^{(L)}=\frac{\partial E}{\partial {\alpha }_i^{(L)}}=\frac{\partial E}{\partial {\stackrel{⌢}{y}}^{(i)}}\frac{\partial {\stackrel{⌢}{y}}^{(i)}}{\partial {\alpha }_i^{(L)}}=({\stackrel{⌢}{y}}^{(i)}-y^{(i)}){\sigma }^{\prime }({\alpha }_i^{(L)}) \end{gathered}$$
这样反向传播的精髓就有了：可以通过第 $l+1$ 层求得的计算成果便捷地对第 $l$ 层进行计算。
以上对 ${\omega }_{ij}^{(l)}$ 进行了求导，对$b_i^{(l)}$的求导过程类似，不再赘述，仅给出公式
$$\frac{\partial E}{\partial b_i^{(l)}}={\delta }_i^{(l)}\frac{\partial a_i^{(l)}}{\partial b_i^{(l)}}={\delta }_i^{(l)}$$

公式总结

上面对反向传播的数学推导进行了介绍，接下来对其公式进行总结，方便记忆。

公式简介	具体公式
${\omega }_{ij}^{(l)}$ 求导公式	$\frac{\partial E}{\partial {\omega }_{ij}^{(l)}}={\delta }_i^{(l)}\frac{\partial {\alpha }_i^{(l)}}{\partial {\omega }_{ij}^{(l)}}={\delta }_i^{(l)}{\beta }_j^{(l-1)}$
$b_i^{(l)}$ 求导公式	$\frac{\partial E}{\partial b_i^{(l)}}={\delta }_i^{(l)}\frac{\partial a_i^{(l)}}{\partial b_i^{(l)}}={\delta }_i^{(l)}$
$\delta$ 的含义	${\delta }_i^{(l)}=\frac{\partial E}{\partial {\alpha }_i^{(l)}}$
通过${\delta }_i^{(l+1)}$ 求 ${\delta }_i^{(l)}$	${\delta }_i^{(l)}={\sum }_m^{k^{(l+1)}}{\delta }_m^{(l+1)}{\omega }_{mi}^{(l+1)}{\sigma }^{\prime }({\alpha }_i^{(l)})$
最初的$\delta$ ， ${\delta }^{(L)}$	${\delta }_i^{(L)}=({\stackrel{⌢}{y}}^{(i)}-y^{(i)}){\sigma }^{\prime }({\alpha }_i^{(L)})$

使用计算图实现反向传播算法

不少文献和博客提到了计算图，计算图带给我们另一种描述神经网络和反向传播的方式。计算图将反向传播算法中复杂的计算过成分解成一个一个的简单的步骤，使得复杂的问题变得简单易懂。

---

什么是计算图（熟悉计算图的同学直接跳过）
计算图，顾名思义就是将计算的过程用图像表示出来通过多个节点和边表示，这里以参考文献[1]中例子说明计算图的工作流程。

小明在超市买了2个100元一个的苹果，消费税是10%，请计算支付金额，并且计算苹果价格的上涨将在多大程度上影响最终支付的金额（求支付金额关于价格的导数）。

下面使用计算图解决这个问题

上面的计算图很简单，苹果的价格（100元）首先流入一个 $\times$ 节点，与苹果的个数（2个）相乘，得到两个苹果的价格，然后再流入一个 $\times$ 节点，与消费税（1.1）相乘，得到最终最终支付的金额220元。可以发现这是个从左到右的计算过程，称之为计算图的前向传播。

接下来考虑第二个问题，第二个问题是求支付金额关于价格的导数。这里使用计算图的反向传播求导。

如何进行反向传播？首先看一个例子，设存在 $y=f(x)$ ，则其反向传播流程如下图所示：

如图所示，反向传播的计算顺序是从右到左的，首先将信号E乘以节点的局部导数$(\frac{\partial y}{\partial x})$，然后将结果传递给下一个节点。这里所说的局部导数是指正向传播中 $y=f(x)$ 的导数，也就是y关于x的导数$(\frac{\partial y}{\partial x})$。

计算图的反向传播是基于链式法则进行的，下面看一个更复杂的例子，设存在 $z=f(x,y)=(x+y{)}^2$ ，求$(\frac{\partial z}{\partial x})$，则其反向传播流程如下图所示：

设$t=x+y$正常情况下，我们可以通过链式法则求 $(\frac{\partial z}{\partial x})$：$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial x}$ ,计算图的计算流程与链式法则是一致的，在反向传播的过程中（从右向左的浅色路线），“**2”节点传入的是 $(\frac{\partial z}{\partial z})$ 即1，传出 $\frac{\partial z}{\partial z}\frac{\partial z}{\partial t}$ ，接下来数据流入 $+$ 节点，输出 $\frac{\partial z}{\partial z}\frac{\partial z}{\partial t}\frac{\partial t}{\partial x}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial x}$ 与一般链式法则求得的结果一模一样。

以上就是计算图求导（反向传播）的过程。将上述内容应用到求支付金额关于价格的导数这个问题上，结果如下所示

计算图成功地算出了支付金额关于价格的导数值2.2 。

Tips：计算图反向传播是有规律的，不同的节点甚至可以根据正向传播输入计算反向传播输出，例如乘法节点：

了解这些规律有利于编写相应代码。其他节点的计算规律此处不在列举，有兴趣的朋友可以自己推导或参照相关文献。

计算图的介绍到此为止，这里仅对计算图做了简要介绍，详情查看引文[1]第五章或者其他博客。

---

计算图的特点
对上述内容进行分析，可以发现计算图有几个特点：

1. 局部计算

2. 保存中间计算结果

3. 可通过反向传播高效地计算导数

这些特点决定了计算图可以用来简单高效地实现反向传播算法。每个节点的计算仅与该节点在正反向传播中的输入有关（局部计算），所以我们可以将多个简单的计算图拼接成一个复杂的计算图而不影响正反向传播的计算。也就是说只要实现神经网络中几个基本的“部件”的计算图，就可以实现整个神经网络，并且能够通过反向传播高效地计算导数。

---

基础部件
计算图介绍完毕，接下来使用计算图构建神经网络的 “部件”。

1. 仿射（Affine）层
   神经网络的前向传播中用到了如下公式
   $${\alpha }_i^{(l)}=\sum _j^{k^{(l-1)}}{\omega }_{ij}^{(l)}{\beta }_j^{(l-1)}+b_i^{(l)}$$
   通常情况下，为了算法的高效性，我们会在实现算法时使用矩阵运算，相应的公式如下
   $${\alpha }^{(l)}={\omega }^{(l)}{\beta }^{(l-1)}+b^{(l)}$$
   也就是说需要构造描述 $Y=W\cdot X+B$ 的计算图，这个运算在几何领域被称为仿射变换，所以这里把处理仿射变换的层称之为仿射层，其结构如下图所示
   
   (dot表示矩阵乘法)
2. 激活层
   这里激活函数选择Sigmoid，Sigmoid函数的公式如下所示
   $$y=\frac{1}{1+e^{-x}}$$
   它的计算图如下所示
   
   其中可以对输出做进一步整理：
   $$\frac{\partial L}{\partial y}{y}^2{e}^{-x}={(\frac{1}{1+e^{-x}})}^2\frac{(1+e^{-x})e^{-x}}{1+e^{-x}}=\frac{1}{1+e^{-x}}\frac{e^{-x}}{1+e^{-x}}=y(1-y)$$
   我们可以画出计算图的简化版
   
3. MSE层
   神经网络是没有损失函数层的，但是反向传播的时候一开始需要对损失函数求导，所以需要画出损失函数的计算图。参考文献[1]中给出了Softmax-with-loss层的计算图，推导过程比较复杂，不再介绍。这里就用MSE作为损失函数，绘制计算图。损失函数公式如下
   $$E=\frac{1}{2}\sum _j^{k^{(L)}}{({\stackrel{⌢}{y}}^{(j)}-y^{(j)})}^2$$
   同样，实现算法时使用矩阵运算，需要构造 $E=\frac{1}{2}(X-Y{)}^2$ 的计算图(此图为本人在processon上画的，画风与之前的不一样，请见谅)
   
   至此，构造神经网络的三个基本部件已经实现完毕。

---

组合

通过像组装乐高积木一样组装上一节中实现的层，可以构建神经网络。

一个最简单的神经网络由全连接层、激活层和损失函数组成，我们可以用上述的基础部件（规模较小的计算图）组成一个复杂的神经网络的结构（一个规模较大的计算图），从而实现对神经网络、正向传播和反向传播的描述。

参考文献

[1]《深度学习入门基于Python的理论与实现》[日]斋藤康毅
[2] 一文搞懂反向传播算法
[3] 读懂反向传播算法（bp算法）