反向传播算法求导公式的推导

这里是对吴恩达深度学习视频中后向传播求导公式的推导，需要对视频有一定了解。
吐槽：吴恩达的符号记法真的是比西瓜书上的记法好太多了，后者还没开始推导就看晕了。

符号说明：

$n^{[l]}$：第$l$层神经元的数目；

$W^{[l]}$：第$l$层的权值；

$b^{[l]}$：第$l$层的阈值；

$z^{[l]}$：第$l$层的输入；

$a^{[l]}$：第$l$层的输出；

$g^{[l]}$：第$l$层的激活函数；

$\mathcal{L}(\hat{y},y)$：损失函数。

神经网络的前向传播公式是：
$$\begin{array}{rl}{z}^{[l]}& =W^{[l]}{a}^{[l-1]}+b^{[l]}\\ a^{[l]}& =g^{[l]}(z^{[l]})\end{array}$$
一个样本的情形：

假设我们已经知道了损失函数$\mathcal{L}(\hat{y},y)$对第$l$层输出值$a^{[l]}$的梯度$d{a}^{[l]}$，也即
$$d{a}^{[l]}={\left(\begin{array}{c}\frac{\partial \mathcal{L}}{\partial a_1^{[l]}},\frac{\partial \mathcal{L}}{\partial a_2^{[l]}},...,\frac{\partial \mathcal{L}}{\partial a_{n^{[l]}}^{[l]}}\end{array}\right)}^T$$
根据链式法则，首先对$z^{[l]}$求导，再对$W^{[l]}$和$b^{[l]}$求导。

由于$a^{[l]}$中的值和$z^{[l]}$中的值是一一对应的，因此求导时也应该是对应元素求导，也即$d{z}^{[l]}$可以写成这种形式
$$d{z}^{[l]}={\left(\begin{array}{c}\frac{\partial \mathcal{L}}{\partial a_1^{[l]}}\frac{\partial a_1^{[l]}}{\partial z_1^{[l]}},\frac{\partial \mathcal{L}}{\partial a_2^{[l]}}\frac{\partial a_2^{[l]}}{\partial z_2^{[l]}},...,\frac{\partial \mathcal{L}}{\partial a_{n^{[l]}}^{[l]}}\frac{\partial a_{n^{[l]}}^{[l]}}{\partial z_{n^{[l]}}^{[l]}}\end{array}\right)}^T$$
用$g^{[l]}{}^{\prime }(z^{[l]})$表示对$z^{[l]}$逐元素求导，也即
$$g^{[l]}{}^{\prime }(z^{[l]})={\left(\begin{array}{c}\frac{\partial a_1^{[l]}}{\partial z_1^{[l]}},\frac{\partial a_2^{[l]}}{\partial z_2^{[l]}},...,\frac{\partial a_{n^{[l]}}^{[l]}}{\partial z_{n^{[l]}}^{[l]}}\end{array}\right)}^T$$
那么$d{z}^{[l]}$可以写成
$$d{z}^{[l]}=d{a}^{[l]}\ast g^{[l]}{}^{\prime }(z^{[l]})$$
有了$d{z}^{[l]}$可以对$W^{[l]}$和$b^{[l]}$求导。先考虑最简单的，对$b^{[l]}$求导，由于$z^{[l]}$中的值和$b^{[l]}$中的值也是一一对应的，因此
$$d{b}^{[l]}={\left(\begin{array}{c}\frac{\partial \mathcal{L}}{\partial z_1^{[l]}}\frac{\partial z_1^{[l]}}{\partial b_1^{[l]}},\frac{\partial \mathcal{L}}{\partial z_2^{[l]}}\frac{\partial z_2^{[l]}}{\partial b_2^{[l]}},...,\frac{\partial \mathcal{L}}{\partial z_{n^{[l]}}^{[l]}}\frac{\partial z_{n^{[l]}}^{[l]}}{\partial b_{n^{[l]}}^{[l]}}\end{array}\right)}^T$$
由于$b^{[l]}$的系数为$1$，因此
$$d{b}^{[l]}=d{z}^{[l]}$$
接下来对$W^{[l]}$求导，根据矩阵乘法规则，$z^{[l]}$的一个元素对应于矩阵$W^{[l]}$的一行，因此求导时应该是
$$d{W}^{[l]}=\left(\begin{array}{c}\frac{\partial \mathcal{L}}{\partial z_1^{[l]}}\frac{\partial z_1^{[l]}}{W_{1:}^{[l]}}\\ \frac{\partial \mathcal{L}}{\partial z_2^{[l]}}\frac{\partial z_2^{[l]}}{W_{2:}^{[l]}}\\ ⋮\\ \frac{\partial \mathcal{L}}{\partial z_{n^{[l]}}^{[l]}}\frac{\partial z_{n^{[l]}}^{[l]}}{W_{n^{[l]}:}^{[l]}}\end{array}\right)$$
这里$W_{i:}^{[l]}$代表$W^{[l]}$的第$i$行，是一个行向量，由于
$$z_i^{[l]}=W_{i:}^{[l]}{a}^{[l]}$$
因此
$$\frac{\partial z_i^{[l]}}{\partial W_{i:}^{[l]}}=a^{[l]T}$$
最终的结果是
$$d{W}^{[l]}=d{z}^{[l]}{a}^{[l{]}^T}$$
最后为了实现反向传播，还需要计算损失函数对$a^{[l-1]}$的导数$d{a}^{[l-1]}$。跟之前不同的是，$z^{[l]}$的一个元素对应于$a^{[l-1]}$的每个元素，所以应该是$z^{[l]}$的每个元素分别对$a^{[l-1]}$求导，然后求和，也即
$$d{a}^{[l]}=\sum _{i=1}^{n^{[l]}}\frac{\partial \mathcal{L}}{\partial z_i^{[l]}}\frac{\partial z_i^{[l]}}{\partial a^{[l-1]}}$$
由于有
$$\frac{\partial z_i^{[l]}}{\partial a^{[l-1]}}=W_{i:}^{[l{]}^T}$$
因此
$$\begin{array}{rl}d{a}^{[l]}& =\sum _{i=1}^{n^{[l]}}\frac{\partial \mathcal{L}}{\partial z_i^{[l]}}\frac{\partial z_i^{[l]}}{\partial a^{[l-1]}}\\ & =\sum _{i=1}^{n^{[l]}}{W}_{i:}^{[l{]}^T}d{z}_i^{[l]}\\ & =W^{[l{]}^T}d{z}^{[l]}\end{array}$$
至此推导出了单个样本情形的所有求导公式：
$$\begin{array}{rl}d{z}^{[l]}& =d{a}^{[l]}\ast g^{[l]}{}^{\prime }(z^{[l]})\\ d{b}^{[l]}& =d{z}^{[l]}\\ d{W}^{[l]}& =d{z}^{[l]}{a}^{[l{]}^T}\\ d{a}^{[l]}& =W^{[l{]}^T}d{z}^{[l]}\end{array}$$
批量的情形：

只需要对单个样本情形进行简单的推广即可。这里先给出结果，再进行解释。

假设已经有了$d{A}^{[l]}$，那么
$$d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l]}{}^{\prime }(Z^{[l]})$$
这很容易理解，因为从$Z^{[l]}$到$A^{[l]}$仍然是经过一个逐元素函数。
$$d{W}^{[l]}=d{Z}^{[l]}{A}^{[l-1{]}^T}$$
在一个样本时
$$d{W}^{[l]}=d{z}^{[l]}{a}^{[l{]}^T}$$
现在有多个样本，那么就需要求和，也就可以写成上面那种形式。
这里跟视频中的不一样，因为损失函数中的$\frac{1}{m}$已经包含在了上一层的求导中。
$$d{b}^{[l]}=\sum _{i=1}^{M}d{Z}_{:i}^{[l]}$$
其中$d{Z}_{:i}^{[l]}$代表矩阵$d{Z}^{[l]}$的第$i$列，这里跟$d{W}^{[l]}$是一样的情形。
$$d{A}^{[l-1]}=W^{[l{]}^T}d{Z}^{[l]}$$
在一个样本时
$$d{a}^{[l]}=W^{[l{]}^T}d{z}^{[l]}$$
现在有多个样本，那么
$$\begin{array}{rl}d{A}^{[l]}& =\left(\begin{array}{c}d{a}^{[l](1)},d{a}^{[l](2)},...,d{a}^{[l](m)}\end{array}\right)\\ & =\left(\begin{array}{c}{W}^{[l{]}^T}d{z}^{[l](1)},W^{[l{]}^T}d{z}^{[l](2)},...,W^{[l{]}^T}d{z}^{[l](m)}\end{array}\right)\\ & =W^{[l{]}^T}d{Z}^{[l]}\end{array}$$
其中$a^{[l](i)}$代表第$i$个样本在第$l$层的输出，$z^{[l](i)}$同理。
至此所有的公式是
$$\begin{array}{rl}d{Z}^{[l]}& =d{A}^{[l]}\ast g^{[l]}{}^{\prime }(Z^{[l]})\\ d{b}^{[l]}& =\sum _{i=1}^{M}d{Z}_{:i}^{[l]}\\ d{W}^{[l]}& =d{Z}^{[l]}{A}^{[l-1{]}^T}\\ d{A}^{[l-1]}& =W^{[l{]}^T}d{Z}^{[l]}\end{array}$$