2020-5-13 吴恩达-NN&DL-w4 深层NN(4.6 前向和反向传播(以3层NN实现为例))

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

4.6 前向和反向传播 Forward and backward propagation

上一节了解了构成深度NN的基本模块，每一层都有前向传播步骤以及一个相反的反向传播步骤，本节将介绍如何实现这些步骤。

前向传播

第l层输入a^[l-1]，输出a^[l]，保存z^[l]，W^[l]和b^[l]。

前向传播的步骤

$z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]}$
$a^{[l]}=g^{[l]}(z^{[l]})$
输入特征$x=a^{[0]}$

向量化实现

$Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$
$A^{[l]}=g^{[l]}(Z^{[l]})$
输入特征集合$X=A^{[0]}$

反向传播

第l层输入da^[l]，输出da^[l-1]，dz^[l]，dW^[l]和db^[l]。

反向传播的步骤

$d{z}^{[l]}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})$
$d{W}^{[l]}=d{z}^{[l]}{a}^{[l-1]}$
$d{b}^{[l]}=d{z}^{[l]}$
$d{a}^{[l-1]}=W^{[l]T}d{z}^{[l]}$

在3.9 神经网络的梯度下降法曾经给出过单隐层NN的dz公式

$d{z}^{[l]}=W^{[l+1]T}d{z}^{[l+1]}\ast g^{[l]\prime }(z^{[l]})$

注意，其实2个公式是一致的。

向量化实现

$d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l{]}^{\prime }}(Z^{[l]})$
$d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]T}$
$d{b}^{[l]}=\frac{1}{m}np.sum(d{Z}^{[l]},axis=1,keepdims=True)$
$d{A}^{[l-1]}=W^{[l]T}d{Z}^{[l]}$

汇总

输入X

• 第一层使用修正线性单元激活函数Relu
• 第二层使用另外一个Relu函数
• 第三层使用sigmoid函数（如果是二分分类）
• 输出预测值$\hat{y}$
• 计算损失$L(\hat{y},y)$
  

然后开始向后迭代，反向传播求导

• 使用保存的 $z^{[l]}$来计算$d{W}^{[3]}，d{b}^{[3]}，d{W}^{[2]}，d{b}^{[2]}，d{W}^{[1]}，d{b}^{[1]}$
• 依次回传$d{a}^{[3]}，d{a}^{[2]}，d{a}^{[1]}$

以上就是一个3层NN的前向和反向传播。

前向传播，我们使用输入数据X来初始化。
对于逻辑回归的反向传播，初始化使用的是
$d{A}^{[l]}=(-\frac{y^{(1)}}{a^{(1)}}+\frac{1-y^{(1)}}{1-a^{(1)}}......-\frac{y^{(m)}}{a^{(m)}}+\frac{1-y^{(m)}}{1-a^{(m)}})$