《吴恩达深度学习》01神经网络和深度学习（第4周深层神经网络）

01. 神经网络和深度学习

第四周 深层神经网络

4.1 深层神经网络

1. 什么是深度神经网络
2. 深度神经网络符号注释
   (1) $L$——层数
   (2) $n^{[l]}$——第l层节点数
   (3) $a^{[l]}$——第l层的激活函数
   (4)$W^{[l]}$——第l层的权重

4.2 前向和反向传播

1. 第l层的前向传播
   输入：$A^{[l-1]}$
   输出：$A^{[l]}$，cache($w^{[l]},b^{[l]}$)
   $Z^{[l]}=w^{[l]}{A}^{[l-1]}+b^{[l]}$
   $A^{[l]}=g^{[l]}(Z^{[l]})$
2. 第l层的反向传播
   输入：$d{a}^{[l]}$
   输出：$d{a}^{[l-1]},d{W}^{[l]},d{b}^{[l]}$
   $d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l{]}^{\prime }}(Z^{[l]})$
   $d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]T}$
   $d{b}^{[l]}=\frac{1}{m}np.sum(d{Z}^{[l]},axis=1,keepdims=True)$
   $d{A}^{[l-1]}=W^{[l]T}d{Z}^{[l]}$
3. 总结
   

4.3 神经网络中的前向传播

1. 深度网络中的前向传播
2. 对层的循环可以使用for循环

4.4 核对矩阵的维数

1. 用于减少代码bug
2. $w^{[l]}$的维度应为$(n^{[l]},n^{[l-1]})$
3. $b^{[l]}$的维度应为$(n^{[l]},1)$
4. $Z^{[l]},A^{[l]}$的维度应为$(n^{[l]},m)$，$m$为样本数

4.5 为什么使用深层表示

1. 深度表示的直觉
   
2. 电路理论和深度学习
   当层数较深时，所用的隐藏单元节点数会呈指数级降低。

4.6 搭建神经神经网络块

回顾了神经网络的前向和反向传播，重点强调了对$z^{[l]}$的缓存

4.7 参数VS超参数

1. 什么是超参
   举例：学习率，梯度下降法的迭代次数，隐层数，隐藏单元数，激活函数，动量，Minibatch大小，正则项
2. 实践深度学习是一个经验过程

4.8 这和大脑有什么关系？