神经网络与深度学习笔记（番外）反向传播推导

回顾

我们设 $n^{[l]}$ 为第 $l$ 层的单元数

则它们的维数
$$w^{[l]},dw：(n^{[l]},n^{[l-1]})$$

$$b^{[l]},db：(n^{[l]},1)$$

$$z^{[l]},a^l:(n^{[l]},1)$$

$$Z^l,A^l,dZ,dA:(n^{[l]},m)$$

反向传播公式为：
$$d{z}^{[l]}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})$$

$$d{w}^{[l]}=d{z}^{[l]}\ast a^{[l-1]}$$

$$d{b}^{[l]}=d{z}^{[l]}$$

$$d{a}^{[l-1]}=w^{[l{]}^T}\ast d{z}^{[l]}$$

推导

首先我们知道
$$z^{[l]}=w^{[l]}\ast a^{[l-1]}+b^{[l]}$$

$$a^{[l]}=g^{[l]}(z^{[l]})$$

$$ȷ(a,y)=-yloga-(1-y)log(1-a)$$

接下来开始推导过程：

$d{z}^{[l]}$的证明

由公式 $\jmath(a,y) = - yloga-(1-y)log(1-a)\$ 对 $a$ 求导得：
$$\frac{dȷ(a^{[l]},y)}{d{a}^{[l]}}=-\frac{y}{a^{[l]}}+\frac{1-y}{1-a^{[l]}}$$

$$\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}=\frac{dȷ(a^{[l]},y)}{d{a}^{[l]}}\ast \frac{d{a}^{[l]}}{d{z}^{[l]}}$$

而
$$\frac{d{a}^{[l]}}{d{z}^{[l]}}=g^{[l{]}^{\prime }}(z^{[l]})$$
所以代入公式 中得：
$$\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})$$
注意：上式子中的 $d{a}^{[l]}$ 为简写，实际上是：
$$\frac{dȷ(a^{[l]},y)}{d{a}^{[l]}}$$
后面的$d{z}^{[l]},d{w}^{[l]},d{b}^{[l]}$ 同理

即证明了公式 $dz^{[l]} = da^{[l]} * g^{[l]’}(z{[l]})\$

$d{w}^{[l]}$的证明

由
$$\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})$$
的证明结果，我们来推一下 $d{w}^{[l]}$
$$\frac{dȷ(a^{[l]},y)}{d{w}^{[l]}}=\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}\ast \frac{d{z}^{[l]}}{d{w}^{[l]}}$$
因为：
$$z^{[l]}=w^{[l]}\ast a^{[l-1]}+b^{[l]}$$
所以：
$$\frac{d{z}^{[l]}}{d{w}^{[l]}}=a^{[l-1]}$$

故：
$$\frac{dȷ(a^{[l]},y)}{d{w}^{[l]}}=\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}\ast \frac{d{z}^{[l]}}{d{w}^{[l]}}=d{z}^{[l]}\ast a^{[l-1]}$$

$d{b}^{[l]}$ 的证明

由
$$\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})$$
的证明结果，我们来推一下 $d{b}^{[l]}$
$$\frac{dȷ(a^{[l]},y)}{d{b}^{[l]}}=\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}\ast \frac{d{z}^{[l]}}{d{b}^{[l]}}$$
因为：
$$z^{[l]}=w^{[l]}\ast a^{[l-1]}+b^{[l]}$$
所以：
$$\frac{d{z}^{[l]}}{d{b}^{[l]}}=1$$
故：
$$\frac{dȷ(a^{[l]},y)}{d{b}^{[l]}}=\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}\ast \frac{d{z}^{[l]}}{d{b}^{[l]}}=d{z}^{[l]}$$

$d{a}^{[l-1]}$ 的证明

由
$$\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})$$
的证明结果，我们来推一下 $d{a}^{[l-1]}$
$$\frac{dȷ(a^{[l]},y)}{d{a}^{[l-1]}}=\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}\ast \frac{d{z}^{[l]}}{d{a}^{[l-1]}}$$
因为：
$$z^{[l]}=w^{[l]}\ast a^{[l-1]}+b^{[l]}$$
所以：
$$\frac{d{z}^{[l]}}{d{a}^{[l-1]}}=w^{[l]}$$
故：
$$\frac{dȷ(a^{[l]},y)}{d{a}^{[l-1]}}=\frac{dȷ(a^{[l]},y)}{d{z}^{[l]}}\ast \frac{d{z}^{[l]}}{d{a}^{[l-1]}}=w^{[l{]}^T}\ast d{z}^{[l]}$$
会不会觉得很奇怪？

为什么 $w^{[l{]}^T}$ 是个转置？

$$w^{[l]},dw：(n^{[l]},n^{[l-1]})$$

$$b^{[l]},db：(n^{[l]},1)$$

$$z^{[l]},a^l:(n^{[l]},1)$$

因为我们还要考虑维度的问题，

$w^{[l]}$ 维度为 $(n^{[l]},n^{[l-1]})$

$z^{[l]}$维度为$(n^{[l]},1)$

$d{a}^{[l-1]}$ 维度为 $(n^{[l]},1)$

故要使得 $w^{[l]}$ 与 $z^{[l]}$ 的积等于 $d{a}^{[l-1]}$ ，我们需要将$w^{[l]}$ 转置，转置后的 $w^{[l{]}^T}$ 维度为 $(n^{[l]},n^{[l-1]})$ ，才可以使得等式成立，且维度一致。