【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】梯度的反向传播算法

矩阵微积分（Matrix Calculus）

在开始之前，需要先了解矩阵微积分的一些计算规则。
首先，对于矩阵微积分的表示，通常由两种符号约定：

• 分母布局

  • 标量关于向量的导数为列向量

  • 向量关于标量的导数为行向量

  • N维向量对M维向量的导数为M*N维矩阵（雅可比矩阵的转置）
    

  • 标量对M维向量的二阶偏导数为M*M维矩阵（Hessian矩阵，也写作${▽}^{2}f(x)$，第m行第n个元素为$\frac{{\partial }^{2}y}{\partial x_m\partial x_n}$）
    

• 分子布局

  • 标量关于向量的导数为行向量
  • 向量关于标量的导数为列向量
  • N维向量对于M维向量的导数为N*M维矩阵（雅可比矩阵）

$$\begin{array}{r}\frac{\partial f(x)}{\partial x}=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_M}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_N}{\partial x_1}& \cdots & \frac{\partial y_N}{\partial x_M}\end{array}\right]\in {\mathbb{R}}^{N\times M}\end{array}$$

- 标量对M维向量的二阶偏导数为M*M维矩阵（Hessian矩阵的转置）
$$\begin{array}{rl}\frac{{\partial }^{2}y}{\partial x^2}& =\frac{\partial }{\partial x}\frac{\partial y}{\partial x}\\ & =\frac{\partial }{\partial x}\left[\begin{array}{ccc}\frac{\partial y}{\partial x_1}& \cdots & \frac{\partial y}{\partial x_M}\end{array}\right]\\ & =\left[\begin{array}{ccc}\frac{{\partial }^{2}y}{\partial x_1^2}& \cdots & \frac{{\partial }^{2}y}{\partial x_M\partial x_1}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}y}{\partial x_1\partial x_M}& \cdots & \frac{{\partial }^{2}y}{\partial x_M^2}\end{array}\right]\in {\mathbb{R}}^{M\times M}\end{array}$$
分子布局和分母布局之间是转置的关系。本系列所有内容默认都以分母布局进行计算和解释。
矩阵微积分也遵从链式法则（分母布局）

梯度计算

前馈神经网络的结构化风险函数：
$$\mathcal{R}(W,b)=\frac{1}{N}\sum _{n=1}^N\mathcal{L}(y^{(n)},{\hat{y}}^{(n)})+\frac{1}{2}\lambda \Vert W{\Vert }_F^2$$
先分别计算网络中的某一层的损失函数$\mathcal{L}$对参数的导数（分母布局），利用链式法则
$$\begin{array}{rl}\frac{\partial \mathcal{L}(y,\hat{y})}{\partial w_{ij}^{(l)}}& =\frac{\partial \mathcal{L}(y,\hat{y})}{\partial z^{(l)}}\frac{\partial z^{(l)}}{\partial w_{ij}^{(l)}}\\ \frac{\partial \mathcal{L}(y,\hat{y})}{\partial b^{(l)}}& =\frac{\partial \mathcal{L}(y,\hat{y})}{\partial z^{(l)}}\frac{\partial z^{(l)}}{\partial b^{(l)}}\end{array}$$
其中$z^{(l)}=W^{(l)}{a}^{(l-1)}+b^{(l)}$是一个向量，根据分母布局的规则，向量对于标量求导为行向量，因此$\frac{\partial z^{(l)}}{\partial w_{ij}^{(l)}}$为行向量
$$\begin{array}{rl}\frac{\partial z^{(l)}}{\partial w_{ij}^{(l)}}& =\left[\begin{array}{ccccc}\frac{\partial z_1^{(l)}}{\partial w_{ij}^{(l)}}& \cdots & \frac{\partial z_i^{(l)}}{\partial w_{ij}^{(l)}}& \cdots & \frac{\partial z_{M_l}^{(l)}}{\partial w_{ij}^{(l)}}\end{array}\right]\\ & =\left[\begin{array}{ccccc}\frac{\partial (w_{1j}^{(l)}{a}^{(l-1)}+b_i^{(l)})}{\partial w_{ij}^{(l)}}& \cdots & \frac{\partial (w_{ij}^{(l)}{a}^{(l-1)}+b_i^{(l)})}{\partial w_{ij}^{(l)}}& \cdots & \frac{\partial (w_{M_{i}j}^{(l)}{a}^{(l-1)}+b_i^{(l)})}{\partial w_{ij}^{(l)}}\end{array}\right]\\ & =\left[\begin{array}{ccccc}0& \cdots & a_j^{(l-1)}& \cdots & 0\end{array}\right]\\ & \triangleq l_i(a_j^{(l-1)})\in {\mathbb{R}}^{1\times M_l}\end{array}$$
同样，向量$z^{(l)}$对向量$b^{(l)}$的导数为
$$\begin{array}{rl}\frac{\partial z^{(l)}}{\partial b^{(l)}}& =\left[\begin{array}{ccc}\frac{\partial (w_{1j}^{(l)}{a}^{(l-1)}+b_1^{(l)})}{\partial b_1^{(l)}}& \cdots & \frac{\partial (w_{M_{i}j}^{(l)}{a}^{(l-1)}+b_i^{(l)})}{\partial b_1^{(l)}}\\ ⋮& \ddots & ⋮\\ \frac{\partial (w_{1j}^{(l)}{a}^{(l-1)}+b_1^{(l)})}{\partial b_{M_i}^{(l)}}& \cdots & \frac{\partial (w_{M_{i}j}^{(l)}{a}^{(l-1)}+b_i^{(l)})}{\partial b_{M_i}^{(l)}}\end{array}\right]\\ & =\left[\begin{array}{ccc}1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & 1\end{array}\right]\\ & =I_{M_i}\in {\mathbb{R}}^{M_l\times M_l}\end{array}$$
除了上面计算的计算部分外，还剩下关键的一项$\frac{\partial \mathcal{R}(y,\hat{y})}{\partial z^{(l)}}$，这一项叫第$l$层的误差项${\delta }^{(l)}$，同样，再次应用链式法则进行计算
$$\begin{array}{rl}{\delta }^{(l)}& \triangleq \frac{\partial \mathcal{L}(y,\hat{y})}{\partial z^{(l)}}\\ & =\frac{\partial \mathcal{L}(y,\hat{y})}{\partial z^{(l+1)}}\frac{\partial z^{(l+1)}}{\partial a^{(l)}}\frac{\partial a^{(l)}}{\partial z^{(l)}}\end{array}$$
其中可直接得到
$$\begin{array}{rl}& \frac{\partial \mathcal{L}(y,\hat{y})}{\partial z^{(l+1)}}={\delta }^{(l+1)}\\ & \frac{\partial z^{(l+1)}}{\partial a^{(l)}}=(W^{(l+1)}{)}^T\end{array}$$
剩下一项计算计算如下
$$\begin{array}{rl}\frac{\partial a^{(l)}}{\partial z^{(l)}}& =\frac{\partial f_l(z^{(l)})}{\partial z^{(l)}}\\ & =\left[\begin{array}{ccc}\frac{\partial f_l(z_1^{(l)})}{\partial z_1^{(l)}}& \cdots & \frac{\partial f_l(z_{M_l}^{(l)})}{\partial z_1^{(l)}}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_l(z_1^{(l)})}{\partial z_{M_l}^{(l)}}& \cdots & \frac{\partial f_l(z_{M_l}^{(l)})}{\partial z_{M_l}^{(l)}}\end{array}\right]\\ & =\left[\begin{array}{ccc}{f}_l^{\prime }(z_1^{(l)})& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & f_l^{\prime }(z_{M_l}^{(l)})\end{array}\right]\\ & =\mathrm{diag}(f_l^{\prime }(z^{(l)}))\end{array}$$
因此
$$\begin{array}{rl}{\delta }^{(l)}& ={\delta }^{(l+1)}(W^{(l+1)}{)}^T\mathrm{diag}(f_l^{\prime }(z^{(l)}))\\ & =({\delta }^{(l+1)}(W^{(l+1)}{)}^T)\odot f_l^{\prime }(z^{(l)})\in {\mathbb{R}}^{M_l}\end{array}$$
符号$\odot$表示对应位置元素相乘¹。从上式中可以看出，第$l$层的误差项可以由第$l+1$层的误差项乘以对应的权重矩阵的转置再乘以对应项激活函数的导数来得到，这个过程就是所谓的反向传播。也就是说，要计算对任意一个参数的偏导数，要从神经网络最后一层先计算出损失函数对最后一层净活性值的偏导数，即误差项${\delta }^{(L)}=\frac{\partial \mathcal{L}}{\partial z^{(L)}}$，然后根据上式一层一层向前计算
再带回之前的式子，得到最终梯度为：
$$\begin{array}{rl}\frac{\partial \mathcal{L}(y,\hat{y})}{\partial w_{ij}^{(l)}}& ={\delta }^{(l)}{l}_i(a_j^{(l-1)})\\ & =\left[\begin{array}{ccccc}{\delta }_1^{(l)}& \cdots & {\delta }_i^{(l)}& \cdots & {\delta }_{M_l}^{(l)}\end{array}\right]{\left[\begin{array}{ccccc}0& \cdots & a_j^{(l-1)}& \cdots & 0\end{array}\right]}^T\\ & ={\delta }_i^{(l)}{a}_j^{(l-1)}\\ \Rightarrow \frac{\partial \mathcal{L}(y,\hat{y})}{\partial W^{(l)}}& ={\delta }^{(l)}(a^{(l-1)}{)}^T\in {\mathbb{R}}^{M_l\times M_{l-1}}\end{array}$$
$$\frac{\partial \mathcal{L}(y,\hat{y})}{\partial b^{(l)}}={\delta }^{(l)}\in {\mathbb{R}}^{M_l}$$

反向传播算法的伪代码描述

---

1. 计算机视觉领域（CV）论文中“圈加”、“圈乘”和“点乘”的解释以及代码示例（⊕、⊙、⊗、广播、广播机制、element-wise、矩阵、乘法、矩阵乘法、向量）_圈×-CSDN博客 ↩︎