机器学习深度学习中反向传播之偏导数链式法则

前记

   无论是机器学习还是深度学习，都是构造目标函数，这个目标函数内部有很多未知变量，我们的目标就是求得这些未知变量。
   那么如何构造目标函数？这是一个非常优美的话题（本文未讲，先欠着）。美好的目标函数求未知数的偏导数是一个漂亮表达式，会让你惊叹到数学如此婀娜多娇。
   如果有人能够求得未知变量的解析表达式，那该是多么幸福的事情，现实是残酷的。（我知道你想说伪逆是最小二乘的解析表达式，然后呢……难道你就打算只学会一个最简单的最小二乘吗？）。为此大部分都是采用梯度下降（那些别的神奇的算法都是基于梯度下降），那何为梯度下降？
   如：$L=f(x)$,采用泰勒（不认识泰勒，就假装不存在这两个字）一阶导数展开：
$$f(x)=f(x_0)+f^{{}^{\prime }}(x_0)(x-x_0)$$
   想求得$f(x)$的最小值，我先蒙一个$x_0$,然后我就拼命的更新$x^{new}$,令每次更新的差值为$\Delta x=x^{new}-x_0$,则:
$$f(x)=f(x_0)+f^{{}^{\prime }}(x_0)(x-x_0)=f(x_0)+f^{{}^{\prime }}(x_0)\Delta x$$
当$\Delta x=-\eta \cdot f^{{}^{\prime }}(x_0)（\eta >0）$时，
$$f(x)=f(x_0)-\eta \cdot f^{{}^{\prime }2}(x_0)$$
   至少我每次$f(x^{new})$总比我之前$f(x_0)$ 要减少一点点$\eta \cdot f^{{}^{\prime }2}(x_0)$吧（此话不严谨，因为学习率很大的时候，你就会筐瓢）。那个$\eta$就是梯度学习率。
   如果你觉得不够精确，我要在二阶泰勒展开，那就是“牛顿法”。
   本文通篇就是在围绕着如何求一阶导数展开。

如何求解一阶导数

   学习数学，总是在学习的时候很痛苦，这个鬼画符得出的结论要表达什么？我学了有什么用？用起来的时候发现“数学真香”。所以本文尽量每讲一个知识点时都拼凑深度学习或者机器学习中的知识点。
   先刷一个链式法则：
   所谓的链式法则，其实就是把一个个好大巴大的函数当做一个整体，求全微分，然后逐步肢解一个个内部函数。

   如图所示，$J=F(f(x),g(x))$;
   求全微分:
$$\Delta J=F_f^{{}^{\prime }}\cdot \Delta f+F_g^{{}^{\prime }}\cdot \Delta g$$
   又因为：$\Delta f=f^{{}^{\prime }}\cdot \Delta x；\Delta g=g^{{}^{\prime }}\cdot \Delta x$从而：
$$\Delta J=F_f^{{}^{\prime }}\cdot f^{{}^{\prime }}\cdot \Delta x+F_g^{{}^{\prime }}\cdot g^{{}^{\prime }}\cdot \Delta x$$
写成链式：
$$\frac{\partial J}{\partial x}=\frac{\partial J}{\partial f}\cdot \frac{\partial f}{\partial x}+\frac{\partial J}{\partial g}\cdot \frac{\partial g}{\partial x}$$
  总结一下链式法则，总是需要找到变量至目标的路径，然后依次从后往前展开。

1.实数对向量求偏导

$$f(x)={\mathbf{a}}^T\mathbf{x}={\mathbf{x}}^T\mathbf{a}$$
其中$\mathbf{x}=[x_1,x_2,x_i,...,x_n{]}^T,\mathbf{a}=[a_1,a_2,a_i,...,a_n{]}^T$
$$\because f(x)=\sum _{i=1}^n{a}_i{x}_i$$
$$\frac{\partial f}{\partial x_i}=a_i$$
$$\therefore \frac{\partial f}{\partial \mathbf{x}}=[a_1,a_2,a_i,...,a_n{]}^T=\mathbf{a}$$
  一个实数对一个列向量求导数，结果还是一个列向量。其实记忆起来就按照$f(x)=a\cdot x，（a,x为实数）$来记忆，只是结果必须要与维度对齐。
  个人建议所有的导数在不太熟悉的情况下，对向量以及矩阵求导都要带上维度。
  比如$f(x)={\mathbf{x}}^T\mathbf{a}$,$f(x)$对x求导数立马想到$f(x)=a\cdot x$,这个肯定知道一元函数的导数：$f^{\prime }(x)=a$,但是还在犹豫当对向量求偏导数时，结果为$a$还是$a^T$ ?显然对列向量偏导数应该还是为列向量，因此：
$$\underset{n\times 1}{f^{\prime }(x)}=\underset{n\times 1}{a}$$
  现在就可以轻松应对机器学习中的LR（逻辑斯蒂回归）分析(仅考虑一个样本样本，该样本的信息为$\mathbf{x}$向量，标签为y取值等于0或者等于1)。
$$z={\mathbf{\omega }}^T\mathbf{x}$$
$$a=f(z)=\frac{1}{1+e^{-z}}$$
$$损失函数:J=-yln(a)-(1-y)ln(1-a)$$
求得$\partial J/\partial z=(\partial J/\partial a)\cdot (\partial a/\partial z)=(a-y)$
由实数对向量求偏导的结论，$\partial z/\partial \mathbf{\omega }=\mathbf{x}$
$$\partial J/\partial \mathbf{\omega }=(\partial J/\partial z)\cdot (\partial z/\partial \mathbf{\omega })=(a-y)\cdot \mathbf{x}$$
  是不是发现$b$不见了，将$\mathbf{x}$扩展为$[\mathbf{x}；1]$,$\mathbf{\omega }$扩展为$[\mathbf{\omega }；b]$即可。

2.向量对向量、矩阵求偏导

  先给出多层全连接神经网络并经过$softmax$进行m个分类的结构图。

  目的是求得所有层之间的V和b参数，因为所有的$z^i\to a^i$为非线性函数，且未含有任何需要辨识的参数。除了最后的$softmax$,甚至所有的非线性函数都是单输入单输出函数。

2.1从后往前递推，先求$\partial J/\partial z^L$,其结论为：

$$\partial J/\partial z^L=a^L-\mathbf{y}$$
  似曾相识，和LR中$\partial J/\partial z=(\partial J/\partial a)\cdot (\partial a/\partial z)=(a-y)$型式相同，这就是前记中描述的，构造较好的目标函数能够得到漂亮的数学型式。
  关于$softmax$层的偏导数求法，本文不做进一步分析，搜索“softmax反向传播”，都有详细的推导。只说一下思路，以对$z_i^L$一个元素求偏导为例，先要$J$对所有的$a_j^L$求偏导，因为$a^L$层所有元素都与$z_i^L$有关系，而且当$j\ne i$时，$a_j^L$仅有分母中含有$z_i^L$；$j=i$时，$a_j^L$分子、分母中含有$z_i^L$（这就是上图中softmax层我将水平连接线画成了虚线，以与$j\ne i$区别开）。

2.2继续求$\partial J/\partial a^{L-1}$

  上面已经求得$\partial J/\partial z^L$,现在找其与$\partial J/\partial a^{L-1}$的关系。
$$z^L=V^L\cdot a^{L-1}$$
$$\therefore \Delta z^L⟹V^L\cdot \Delta a^{L-1}$$
$$\begin{array}{rl}\Delta J& \Rightarrow (\frac{\partial J}{\partial z^L}{)}^T\cdot \Delta z^L\\ & \Rightarrow (\frac{\partial J}{\partial z^L}{)}^T\cdot (V^L\cdot \Delta a^{L-1})\\ & \Rightarrow (\frac{\partial J}{\partial z^L}{)}^T\cdot V^L\cdot \Delta a^{L-1}\\ & \Rightarrow ((V^L{)}^T\cdot \frac{\partial J}{\partial z^L}{)}^T\cdot \Delta a^{L-1}\end{array}$$
  同时：
$$\Delta J\Rightarrow (\frac{\partial J}{\partial a^{L-1}}{)}^T\cdot \Delta a^{L-1}$$
  与上面的“等式”对比可知：
$$\therefore \frac{\partial J}{\partial a^{L-1}}=(V^L{)}^T\cdot \frac{\partial J}{\partial z^L}\text{\hspace{1em}(1)}$$

  $“\Rightarrow ”$这个符号在本文中意味着啥？先别急，你就当做一个等于号来看待最后再解释。

2.3继续求$\partial J/\partial V^L$

  这次打算从最基本的$V^L$矩阵单个元素$V_{ij}^L$处理开始，然后逐步分析行$V_{i行}^L$，然得出整个矩阵的偏导数$\partial J/\partial V^L$。
$$\because \frac{\partial z_i^L(z_i^L=V_{i行}\cdot a^{L-1})}{\partial V_{ij}}=a_j^{L-1}$$
$$\therefore \frac{\partial J}{\partial V_{ij}}=\frac{\partial J}{\partial z_i^L}\cdot \frac{\partial z_i^L}{\partial V_{ij}}=\frac{\partial J}{\partial z_i^L}\cdot a_j^{L-1}\text{\hspace{1em}(对单个元素求偏导)}$$
$$\therefore \frac{\partial J}{\partial V_{i行}}=\frac{\partial J}{\partial z_i^L}\cdot (a^{L-1}{)}^T\text{\hspace{1em}(对行求偏导)}$$
  扩展至对矩阵求偏导：
$$\therefore \frac{\partial J}{\partial V}=\left[\begin{array}{c}\frac{\partial J}{\partial z_1^L}\cdot (a^{L-1}{)}^T\\ ⋮\\ \frac{\partial J}{\partial z_m^L}\cdot (a^{L-1}{)}^T\end{array}\right]=\frac{\partial J}{\partial z^L}\cdot (a^{L-1}{)}^T\text{\hspace{1em}(2)}$$
  关于对$V$的偏导数求法是按照定义，一五一十一板一眼的求，后面在解释"$\Rightarrow$"符号时，会进一步通过矩阵的方法来获得相同的表达式。

继续求$\partial J/\partial z^{L-1}$

  以图中$a^{L-1}=\delta (z^{L-1})$为例，显然：$\partial a_i^{L-1}/\partial z_i^{L-1}=\delta (z_i^{L-1})\cdot (1-\delta (z_i^{L-1}))$
$$\therefore \partial J/\partial z=\frac{\partial J}{\partial a}\odot \frac{\partial a}{\partial z}=\frac{\partial J}{\partial a}\odot \delta (z^{L-1})\odot (1-\delta (z^{L-1}))$$
  检查一下这个表达式中，所有$\odot$两边的表达式都为$k\times 1$维的列向量。个人感觉上式凭直觉是显而易见的，下面开始推导：
$$\begin{array}{rl}\frac{\partial J}{\partial a}\odot \Delta a& \Rightarrow \frac{\partial J}{\partial a}\odot [\delta (z^{L-1})\odot (1-\delta (z^{L-1}))\odot \Delta z]\\ & \Rightarrow [\frac{\partial J}{\partial a}\odot \delta (z^{L-1})\odot (1-\delta (z^{L-1}))]\odot \Delta z\end{array}$$
  上式为左右两个列向量"相等"，代表 两个列向量所有元素对应相等,那两边向量元素和也必然相等。
$$\Delta J\Rightarrow (\frac{\partial J}{\partial a}{)}^T\cdot \Delta a\Rightarrow [\frac{\partial J}{\partial a}\odot \delta (z^{L-1})\odot (1-\delta (z^{L-1})){]}^T\cdot \Delta z$$
  同时：$$\Delta J\Rightarrow (\frac{\partial J}{\partial z^{L-1}}{)}^T\cdot \Delta z^{L-1}$$
  $$\therefore \partial J/\partial z^{L-1}=\frac{\partial J}{\partial a^{L-1}}\odot \delta (z^{L-1})\odot (1-\delta (z^{L-1}))\text{\hspace{1em}(3)}$$
  老实说，公式（3）的推导我也不知道是不是在画蛇添足……
  先将第2节内容《向量对向量、矩阵求偏导》做个总结：
  公式1，对向量的偏导数传递至向量的偏导数；两个向量关系为矩阵相乘。
  公式2，对向量的偏导数传递至矩阵的偏导数；
  公式3，对向量的偏导数传递至向量的偏导数；两个向量之间元素为一一对应的函数关系。
  有了以上公式三联，就可以通过梯度下降实现全连接神经网络多分类的参数辨识。2.1节能够得到对$z^L$的偏导数，然后通过公式（2）得到$L$层的参数$V^L$,结合公式（1）（3）即可往前推进一层至$L-1$层，依次类推（本文没有考虑偏置项$b$，原理类似)。

3.Hadamard积求偏导

  其实上述2.3节里面就有hadamard积的微分，这里还是单独陈列出来。
  已知：$z=x\odot y;J=f(z);$各个变量的维度：$z[m\times 1],x[m\times 1],y[m\times 1],J[1\times 1]$
求：$\partial J/\partial x?$
$$\partial J/\partial x=\left[\begin{array}{c}\frac{\partial J}{\partial x_1}\\ ⋮\\ \frac{\partial J}{\partial x_m}\end{array}\right]=\left[\begin{array}{c}\frac{\partial J}{\partial z_1}\cdot y_1\\ ⋮\\ \frac{\partial J}{\partial z_m}\cdot y_m\end{array}\right]=\frac{\partial J}{\partial z}\odot y=y\odot \frac{\partial J}{\partial z}\text{\hspace{1em}(4)}$$
  可我还是喜欢上面画蛇添足的思路。

4.所有偏导推导思路

  4.1当仅有华山一条道，且仅改变单个变量时，可以有如下表达式：
$$\Delta J=(\partial J/\partial f{)}^T\cdot \Delta f=(\partial J/\partial x{)}^T\cdot \Delta x\text{\hspace{1em}(I)}$$
其中维度：$f[m\times 1],x[k\times 1],J[1\times 1]$
  何为华山一条道？以全微分图为例，你会发现上式是不对的，但是如果去掉$g$路径则没有问题。
  何为仅改变单个变量？以$z^L=V^L\cdot a^{L-1}$为例，实则：
$$\Delta z^L=\Delta V^L\cdot a^{L-1}+V^L\cdot \Delta a^{L-1}$$
  但是如果仅考虑对单个变量$a^{L-1}$求偏导(即认为别的变量为常量，如$V^L$变量)，是可以认为：
$$\Delta J=(\partial J/\partial z^L{)}^T\cdot \Delta z^L\Rightarrow (\partial J/\partial a^{L-1}{)}^T\cdot \Delta a^{L-1}$$
  这也是为什么之前说"$\Rightarrow$“符号直接当作等号”="来看。有了4.1则公式（1)的推导手到擒来。
  在满足4.1的条件下，矩阵偏导数全微分表达式又是如何呢？
  4.2矩阵偏导数全微分表达式
  显然不是$\Delta J=(\partial J/\partial V{)}^T\cdot \Delta V$,维度对不上，正确的表达式应该是：
$$\Delta J=Tr((\partial J/\partial V{)}^T\cdot \Delta V)\text{\hspace{1em}(II)}$$
  其中$Tr()$为矩阵的迹，矩阵的迹有性质：$Tr(A\cdot B)=Tr(B\cdot A)$。公式(II)看起来很复杂实则就是两个表达式的对应元素相乘的和。
  为此，再把公式(2)用4.2的知识推导一遍：
$$\begin{array}{rl}\Delta J& =(\partial J/\partial z{)}^T\cdot \Delta z(\because \Delta z\Rightarrow \Delta V\cdot a)\\ & =(\partial J/\partial z{)}^T\cdot (\Delta V\cdot a)\\ & (\because 行向量乘以列向量等于列向量乘以行向量的迹)\\ & =Tr((\Delta V\cdot a)\cdot (\partial J/\partial z{)}^T)\\ & =Tr(\Delta V\cdot a\cdot (\partial J/\partial z{)}^T)\\ & =Tr(\Delta V\cdot (\partial J/\partial z\cdot a^T{)}^T)\\ & =Tr((\partial J/\partial z\cdot a^T{)}^T\cdot \Delta V)\end{array}$$
  与公式(II)对比便知：$\partial J/\partial V=\partial J/\partial z\cdot a^T$，可见利用4.1以及4.2的知识，可以相对较为轻松的完成公式(1)(2)的推导。
  关于hadamard积的微分求导，也可以利用4.1，4.2的知识(再次重复公式（3))。
$$\partial J/\partial z\odot \Delta z=\partial J/\partial z\odot (y\odot \Delta x)=(\partial J/\partial z\odot y)\odot \Delta x$$
  等式左右两个向量相等则其所有元素之和相等。
$$(\partial J/\partial z{)}^T\cdot \Delta z=(\partial J/\partial z\odot y{)}^T\cdot \Delta x$$
$$\therefore \partial J/\partial x=\partial J/\partial z\odot y$$
  实际上，$a^T\cdot (b\odot c)=(a\odot b{)}^T\cdot c$（凭直觉该式应该是没错的， 到底有没有这个性质我也没去查）
$$(\partial J/\partial z{)}^T\cdot \Delta z=(\partial J/\partial z{)}^T\cdot (y\odot \Delta x)=(\partial J/\partial z\odot y{)}^T\cdot \Delta x$$
  通过总结再回过来看偏微分的链式表达式，似乎能够闭卷了，可是如果纯粹靠推导难免有点容易出错。此时想起来高中数学的对联“奇变偶不变，符号看象限”。如果用这种型式描述偏微分就是：“型式由原式决定，左右转置看维度”。"型式由原式决定”：比如hadamard积的微分传递还是hadamard积的形式;$z=V\cdot a$微分传递后还是矩阵相乘的形式，“左右转置看维度”:$\partial J/\partial a$与$\partial J/\partial z$定相差一个$V^T$,，至于该转置应该左乘还是右乘$\partial J/\partial z$则看维度匹配。$\partial J/\partial a$维度为$[k\times 1]$,$\partial J/\partial z$维度为$[m\times 1]$,$V$维度为$[m\times k]$,在维度匹配上，$[k\times 1]=[m\times k{]}^T\cdot [m\times 1]$。
$$\therefore \partial J/\partial a=V^T\cdot \partial J/\partial z$$

5.展望

  这篇文章写完也算给自己对反向传播的一个总结吧，也是对自己的一个交代。还有卷积神经网络中对卷积内核的偏导数求导和层之间偏导链式没有写，也不晓得要哪天才会再来写，毕竟敲公式太遭罪了，还是一笔一纸的流畅。
  真理总是越辩越明，如果觉得以上博文有任何问题欢迎留言。