计算图（Computational Graph）的角度理解反向传播算法（Backpropagation）

最近在回看反向传播算法（Backpropagation，BP算法）时，注意到目前各大深度学习框架如Tensorflow，Theano，CNTK等都以计算图（Computational Graph）作为描述反向传播算法的基础。

计算图

计算图是用来描述计算的语言，是一种将计算形式化的方法。在计算图中，计算被表示成有向图，图中的每一个节点表示一个变量（variable），变量可以是标量（scalar）、向量（vector）、矩阵（matrix）、张量（tensor）等。图中的边表示操作（operation），即一个或多个变量的简单函数。如果变量$x$经过一个操作$f$计算得到变量$y$，那么我们画一条从$x$到$y$的有向边。下图是计算图的一个简单例子：
$$\begin{gathered} y=f\left(g\right(h(x)\left)\right) \\ u=h(x)v=g(u)y=f(v) \end{gathered}$$

同样我们也可以描述多变量函数，下图展示了Logistic回归$y=\sigma (w^{T}x+b)$的计算图

在计算中，有些中间结果在代数表达式中没有名称，但是在图形中是需要的，比如上图中$u$、$v$和$u^{(1)}$、$u^{(2)}$。当同一个变量多次出现在代数表达式中时，在计算图中需要将其当作不同的变量对待。例如式子$y=x{e}^{x^2}$的计算图如下

计算表达式的值时，我们从叶子节点开始，顺着有向边逐步归约到根节点即可得到整个表达式的值，可以看作是BP算法的前向传播过程。剩下需要解决的是计算图的求导过程，对应于BP算法的反向传播过程。

首先需要复习下求导的链式法则：
case 1

因为$x$的变化会带来$y$的变化，$y$的变化最终影响$z$的变化，所以
$$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$$

即图中一个顶点对另一个顶点的导数等于该顶点到另一个顶点的路径上所有导数的乘积。

case 2

因为$z=k(x,y)$是一个二元函数，受到$x$和$y$的影响，而$s$的变化又同时影响到$x$和$y$，所以
$$\frac{dz}{ds}=\frac{dz}{dx}\frac{dx}{ds}+\frac{dz}{dy}\frac{dy}{ds}$$

即当存在从一个顶点到另一个顶点的多条路径时，那么这个顶点对另一个顶点的导数等于所有路径上导数的和。

下面通过两个例子直观展示下计算图求导过程：

Example 1：e=(a+b)*(b+1)

首先画出表达式$e=(a+b)\ast (b+1)$的计算图，然后计算出每条边的导数，最后根据求解问题，找出所有的路径。如图，我们可以轻松写出$\frac{\partial e}{\partial a}$和$\frac{\partial e}{\partial b}$。$\frac{\partial e}{\partial a}$只对应了黄色箭头路径，因此$\frac{\partial e}{\partial a}=\frac{\partial e}{\partial u}\frac{\partial u}{\partial a}=(b+1)$。$\frac{\partial e}{\partial b}$对应了两条红色箭头路径，因此$\frac{\partial e}{\partial b}=\frac{\partial e}{\partial u}\frac{\partial u}{\partial b}+\frac{\partial e}{\partial v}\frac{\partial v}{\partial b}=(b+1)+(a+b)$。

当出现同一个变量多次出现在代数表达式中时，虽然在画计算图时我们将其当作不同的变量对待，但是计算该变量的导数值时，我们需要将图中关于该变量的所有导数值相加。仍然以$y=x{e}^{x^2}$为例：

因为$x$在表达式中共出现三次$x_1$、$x_2$和$x_3$，因此我们需要分别计算出$\frac{\partial y}{\partial x_1}$、$\frac{\partial y}{\partial x_2}$和$\frac{\partial y}{\partial x_3}$，然后将其相加。当计算出每一条边的导数后，就可以将出现在不同位置的相同变量同等对待了，因此
$$\begin{array}{rl}\frac{\partial y}{\partial x_1}& =x\cdot e^{x^2}\cdot x\\ \frac{\partial y}{\partial x_2}& =x\cdot e^{x^2}\cdot x\\ \frac{\partial y}{\partial x_3}& =e^{x^2}\\ \frac{\partial y}{\partial x}& =\frac{\partial y}{\partial x_1}+\frac{\partial y}{\partial x_2}+\frac{\partial y}{\partial x_3}=e^{x^2}+2x\cdot e^{x^2}\cdot x_2\end{array}$$

反向传播算法的计算图

多层神经网络的表达式可以写成：
$$y=\sigma (w^L\cdots \sigma (w^2\sigma (w^{1}x+b^1)+b^2)\cdots +b^L)$$

对于一个双隐层神经网络，其计算图如图所示：

图中$x$是输入数据，是一个向量，$w$表示层与层之间的连接权重，是一个矩阵，$b$表示偏置向量，$y$是网络的输出，$C$是损失值，是一个标量。为了计算出参数的梯度，首先需要出每条边的偏导数，因为存在顶点是向量和矩阵的情况，所以涉及到向量对向量的导数和向量对矩阵的导数。

向量对向量的导数
对于标量对向量的导数我们已经会求，推广到向量$y$对向量$x$的导数时，我们分步将向量$y$中每一个元素对向量$x$求偏导，然后将结果组合成一个矩阵，实际也确实是这样。具体的，假设$y$是m维向量，$x$是n维向量，将$y$中每一个元素对$x$的偏导数横排放成行，最终将形成一个$m\ast n$的矩阵，这个矩阵就是Jacobian矩阵。以Sigmoid函数作为激活函数为例，$y$和$z$都是向量，因此$\frac{\partial a}{\partial z}$是一个方阵，
$$\begin{array}{r}\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_i\\ ⋮\end{array}\right]=\sigma \left(\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_i\\ ⋮\end{array}\right]\right)\end{array}$$

其中$a_i=\frac{1}{1+e^{-z_i}}$，因此当$i̸=j$时，$\frac{\partial a_i}{z_j}=0$，当$i=j$时，$\frac{\partial a_i}{z_j}={\sigma }^{{}^{\prime }}(z_i)$，所以最终的矩阵将是一个对角阵，对角线上的值为${\sigma }^{{}^{\prime }}(z_i)$。
$$\frac{\partial a}{\partial z}=\left[\begin{array}{ccc}{\sigma }^{{}^{\prime }}(z_1)& & \\ & {\sigma }^{{}^{\prime }}(z_2)& \\ & & \ddots \end{array}\right]$$

向量对矩阵的导数
m维向量$y$对$m\ast n$维矩阵$x$求导也是向量中每一个元素对矩阵中每一个元素求偏导，因此将得到m个$m\ast n$矩阵。这写起来将非常不方便，通常将$m\ast n$矩阵变平为一个向量，因此结果是一个$m\ast (m\times n)$的矩阵。以$z=wa$为例：
$$\begin{array}{r}\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_i\\ ⋮\end{array}\right]=\left[\begin{array}{ccccc}{w}_{11}& w_{12}& \cdots & & \\ w_{21}& w_{22}& & & \\ ⋮& & \ddots & & \\ & & & & \end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_i\\ ⋮\end{array}\right]\end{array}$$

对于任意一个$z_i$，其计算结果等于
$$z_i=w_{i1}{a}_1+w_{i2}{a}_2+\cdots +w_{in}{a}_n$$

可以看到，$z_i$只与矩阵$w$中第$i$有关，因此$i\ne j$时，$\frac{\partial z_i}{\partial w_{jk}}=0$；当$i=j$时，$\frac{\partial z_i}{\partial w_{jk}}=a_k$。所以得到的矩阵中只有第$i$行有值，并且其值正好等于向量$a$。所以$\frac{\partial z}{\partial w}$的结果如下
$$\frac{\partial z}{\partial w}=\left[\begin{array}{cccccccccc}{a}_1& \cdots & a_m& & & & & & & \\ & & & a_1& \cdots & a_m& & & & \\ & & & & & & a_1& \cdots & a_m& \\ & & & & & & & & & \ddots \end{array}\right]$$

依次求出所有边的导数，如下图

最终
$$\frac{\partial C}{\partial w^1}=\frac{\partial C}{\partial y}\frac{\partial y}{\partial z^2}\frac{\partial z^2}{\partial a^1}\frac{\partial a^1}{\partial z^1}\frac{\partial z^1}{\partial w^1}=[\cdots \frac{\partial C}{\partial w_{ij}^1}\cdots ]$$

#参考文献
台湾大学李宏毅Machine Learning and having it deep and structured (2017,Spring)