深度学习（二）梯度推导

1.梯度介绍

深度学习的训练本质是优化损失，优化的方式是计算梯度，然后通过优化算法更新参数 ，常见的优化算法SGD/Momentum/Adagrad/RMSProp/Adam等，本文总结一下梯度的计算。

2.链式法则

利用微分求梯度的方法计算量太大，而误差反向传播算法的出现提高了计算效率，误差反向传播算法(BP)主要基于链式法则。
链式法则是求复合函数的导数：
例如多元复合函数$f=x^{2}y$，可以看作$f(x,y)=p(x)q(y)$，其中$p(x)=x^2$，$q(y)=y$
$$\frac{\partial f}{\partial x}=\frac{\partial f}{\partial p}\ast \frac{\partial p}{\partial x}=q\ast 2x=2xy$$
$$\frac{\partial f}{\partial y}=\frac{\partial f}{\partial q}\ast \frac{\partial q}{\partial y}=p\ast 1=x^2$$

有了偏导数，当y的梯度已知，各变量的梯度=偏导数*y的梯度，因此有几点常用如下

1.如果是由a + b = y，则反向传播时a b 的梯度相等，且等于y的梯度
2.如果是a * b = y，则反向传播时a b 的梯度分别为b a，如果是矩阵运算会涉及到矩阵转换
3.max操作梯度只有传播到取最大值的一路

图片来自 梯度是如何计算的

3.逻辑回归梯度计算

逻辑回归流程如下

• 全连接 $z=w^{T}x+b=w_1{x}_1+w_2{x}_2+b$
• 激活层 $\hat{y}=a=\sigma (z)$
• 损失层（二分类交叉熵） $L(a,y)=-(ylog(a)+(1-y)log(1-a))$

这里激活函数为sigmoid $a=\frac{1}{1+exp(-x)}$
$$\frac{da}{dz}=\frac{1}{(1+e^{-x}{)}^2}\ast e^{-x}=\frac{1}{1+e^{-x}}\ast \frac{e^{-x}}{1+e^{-x}}=\frac{1}{1+e^{-x}}\ast (1-\frac{1}{1+e^{-x}})$$
$$\frac{da}{dz}=y\ast (1-y)$$

先求L(a,y)关于a的导数$$\frac{dL(a,y)}{da}=-y/a+(1-y)/(1-a)$$
因为$$\frac{dL(a,y)}{dz}=(\frac{dL}{da})\ast (\frac{da}{dz})$$
所以有$$\begin{gathered} dz=\frac{dL(a,y)}{dz}=(\frac{dL}{da})\ast (\frac{da}{dz})=[-y/a+(1-y)/(1-a)]\ast a(1-a) \\ dz=a-y \end{gathered}$$

进一步推导w和b
$$\begin{gathered} d{w}_1=\frac{1}{m}\sum _i^m{x}_1^{(i)}(a^{(i)}-y^{(i)}) \\ d{w}_2=\frac{1}{m}\sum _i^m{x}_2^{(i)}(a^{(i)}-y^{(i)}) \\ db=\frac{1}{m}\sum _i^m(a^{(i)}-y^{(i)}) \end{gathered}$$

4.梯度矩阵形式推导

标量对矩阵的求导，参考另外一篇转载的博客 矩阵求导术

趁热打铁，我们把矩阵形式的梯度推导一下，先放结果。假设$D=wx$
$$\begin{gathered} dW=dD.dot(X.T) \\ dX=W.T.dot(dD) \end{gathered}$$

a*b 表示矩阵对应位置相乘
a.dot(b) 表示矩阵内积

4.1基础知识

一元微积分中的微分$df$与导数的全微分公式 $f^{\prime }(x)$ $$df=f^{\prime }(x)dx$$
多元微积分中的微分$df$与梯度的全微分公式 $\frac{\partial f}{\partial x}$：$$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i=(\frac{\partial f}{\partial x}{)}^{T}dx$$

从多元微积分的全微分公式可以看到全微分df等于梯度向量(n,1)与微分向量dx(n,1)的内积

类似的，微分df和矩阵导数$\frac{\partial f}{\partial X}$(标量对矩阵的导数):
$$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=tr((\frac{\partial f}{\partial X}{)}^{T}dX)$$

tr表示矩阵的迹(tarce),是方阵对角线元素之和,满足性质：对尺寸相同的矩阵A,B有
$$tr(A^{T}B)=\sum _{i,j}{A}_{ij}Bij$$
举个例子理解下

常用的微分的运算法则：

• $d(X\pm Y)=dX\pm dY$
• $d(XY)=(dX)Y+XdY$
• $d(X^T)=d{X}^T$
• $dtr(X)=tr(dX)$
• $d{X}^{-1}=-X^{-1}dX{X}^{-1}$ 可由$(X{X}^{-1}=I)$求微分证明
• 行列式$d|X|=tr(X^{\ast }dX)$其中$X^{\ast }$表示$X$的伴随矩阵，在X可逆时可以写成$d|X|=|X|tr(X^{-1}dX)$ 此式可以用laplace展开证明
• 逐元素乘法：$d(X\odot Y)=(dX)\odot Y+X\odot dY$ 其中$\odot$表示尺寸相同的矩阵X,Y进行元素乘法
• 逐元素函数$d\sigma (X)={\sigma }^{\prime }(X)\odot dX$其中$\sigma (X)=[\sigma (X_{i,j})]$是逐元素标量函数计算，${\sigma }^{\prime }(X)=[{\sigma }^{\prime }(X_{i,j})]$是逐元素标量导数计算

逐元素是指针对矩阵单个元素求函数值或者求导
$X=[x_1,x_2]$，$d(sinX)=[\cos x_{1}d{x}_1,\cos x_{2}d{x}_2]=\cos X\odot dX$

迹技巧

• 标量套上迹：$a=tr(a)$
• 转置：$tr(A^T)=tr(A)$
• 线性：$tr(A\pm B)=tr(A)\pm tr(B)$
• 矩阵乘法交换：$tr(AB)=tr(BA)$，假设$A_{m,n}$与$B_{n,m}$,则有$(AB{)}_{ii}={\sum }_{i=1}^n{a}_{ij}\ast b_{ji}$ $$tr(AB)=\sum _{i=1}^m(\sum _{j=1}^n{a}_{ij}\ast b_{ji})=\sum _{i=1}^n(\sum _{j=1}^m{b}_{ij}\ast a_{ji})=tr(BA)$$
• 矩阵乘法/逐元素乘法交换：$tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)$其中ABC尺寸相同都为mxn，两侧都等于$$\sum _{i,j}{A}_{ij}{B}_{ij}{C}_{ij}$$
  【089】深度学习读书笔记：P29证明迹Tr(AB)=Tr(BA)

4.2 三层神经网络反向传播推导

#正向传播

Z_1 = np.dot(W_1.T,X) + b_1    # 维度N1*M ,N1表示第一隐层的神经元数
A_1 = sigmoid(Z_1)             # 维度N1*M
 
Z_2 = np.dot(W_2.T,A_1) + b_2  # 维度N2*M ,N2表示输出层的神经元数
A_2 = sigmoid(Z_2)             # 维度N2*M ,本例中N2=1
 
L = cross_entropy(A_2,Y)       # 标量

矩阵形式的损失函数$$L=(-(Y\odot log(A_2))-((1-Y)\odot log(1-A_2))I$$
这里矩阵I是个全为1的(M,1)的矩阵，作用于前面(1,M)的损失求和

• 求微分dL，由$d(XY)=(dX)Y+XdY$以及$d(X\odot Y)=(dX)\odot Y+X\odot dY$得
  $$dL=-(dY\odot log(A_2)+Y\odot dlog(A_2)+d(1-Y)\odot log(1-A_2)+(1-Y)\odot dlog(1-A_2))I$$
  常数矩阵的微分为0矩阵，同时$dlog(A_2)=\frac{1}{A_2}\odot d{A}_2$ 代入得
  $$dL=-(Y\odot \frac{1}{A_2}\odot d{A}_2-(1-Y)\odot \frac{1}{1-A_2}\odot d{A}_2)I$$
  $$dL=(\frac{A_2-Y}{A_2\odot (1-A_2)}\odot d{A}_2)$$
  继续对$A_2$和$Z_2$微分，就出现了$d{W}_2$
  $$d{A}_2=A_2\odot (1-A_2)\odot d{Z}_2$$
  $$d{Z}_2=d(W_2^T)A_1+W_2^{T}d{A}_1+d{b}_2$$
  这里的$A_1$、$W_2$和$b_2$都是变量。将$d{A}_2$带入$dL$得
  $$dL=((A_2-Y)\odot d{Z}_2)I$$
  $$dL=((A_2-Y)\odot [d(W_2^T)]A_1+(A_2-Y)\odot [W_2^{T}d{A}_1]+(A_2-Y)\odot d{b}_2)I$$

接下来使用迹技巧将$dW$换到最右侧
$$dL=tr(dL)=tr(((A_2-Y)\odot d{Z}_2)I)$$
因为$(A_2-Y)\odot d{Z}_2$与$I^T$尺寸相同，所以有
$$dL=tr(dL)=tr(((A_2-Y)\odot d{Z}_2)I)=tr(I((A_2-Y)\odot d{Z}_2))=tr((I^T{)}^T((A_2-Y)\odot d{Z}_2))$$
由法则$tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)$得：
$$dL=tr((I^T{)}^T((A_2-Y)\odot d{Z}_2))=tr([(I^T)\odot (A_2-Y){]}^{T}d{Z}_2)$$
由$dL=tr((\frac{\partial L}{\partial Z_2}{)}^{T}d{Z}_2)$比较上式得出：
$$\frac{\partial L}{\partial Z_2}=(I^T)\odot (A_2-Y)=A_2-Y$$
所以$d{Z}_2=A_2-Y$

矩阵求导与矩阵微分

神经网络的反向传播算法中矩阵的求导方法

未完待续…