【深度学习基础】正反向传播

深度神经网络的前向传播

1. 前向传播的公式推导

下图中红色标注的是层间的递推公式。

2. 具体实现细节

正向传播

更新前向函数的方法是：
$$z^{[l]}=w^{[l]}\ast a^{[l-1]}+b^{[l]}$$
$$a^{[l]}=g^{[l]}(z^{[l]})$$
正向传播的输入的是$a^{[l-1]}$，输出的是$a^{[l]}$， 计算中间的$w^{[l]}$和$b^{[l]}$，并缓存$z^{[l]}$。

多层就会得到下图：
反向传播

更新反向传播的方法是：
$$d{z}^{[l]}=d{z}^{[l]}\ast (g^{[l]}{)}^{{}^{\prime }}(z^{[l]})$$
$$d{w}^{[l]}=d{z}^{[l]}\ast a^{[l-1]}$$
$$d{b}^{[l]}=d{z}^{[l]}$$
$$d{z}^{[l-1]}=(w^{[l]}{)}^T\ast d{z}^{[l]}$$
综合上面4个式子，得到
$$d{z}^{[l]}=(w^{[l+1]}{)}^T\ast d{z}^{[l+1]}\ast (g^{[l]}{)}^{{}^{\prime }}(z^{[l]})$$
输入的是$d_a^{[l]}$，输出的是$d_a^{[l-1]}$，并记录下当前的$d_w^l$和$d_b^{[l]}$。

多层就会得到：