第四周：深层神经网络

本文是神经网络和深度学习课程的笔记。

4.1 深层神经网络

• 记号：
• $L$：网络的层数
• $n^{[l]},l\in [1,L]$: 第l层的神经元的数量, $n^{[0]}$表示第0层，即输入的尺寸。
• $a^{[l]},l\in [1,L]$: $a^{[L]}=\hat{y}$

4.2 深层神经网络中的前向传播

⚠️ 计算公式

单个样本

• 第一层：
  $z^{[1]}=W^{[1]}x+b^{[1]}$
  $a^{[1]}=g^{[1]}(z^{[1]})$
• 第$l,1\le l$层：
  $z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[1]}$
  $a^{[l]}=g^{[l]}(z^{[l]})$

多个样本

$Z^{[l]}=w^{[l]}{A}^{[l-1]}+b^{[l]}$
$A^{[l]}=g^{[l]}(Z^{[l]})$

4.3 核对矩阵的维度

因为$z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]}$，$a^{[l]}=g^{[l]}(z^{[l]})$（单个样本）
$Z^{[l]}=w^{[l]}{A}^{[l-1]}+b^{[l]}$，$A^{[l]}=g^{[l]}(Z^{[l]})$(m个样本)

$W^{[l]}$	$b^{[l]}$	$z^{[l]}$	$a^{[l]}$	$Z^{[l]}$	$A^{[l]}$
$(n^{[l]},n^{[l-1]})$	$(n^{[l]},1)$	$(n^{[l]},1)$	$(n^{[l]},1)$	$(n^{[l]},m)$	$(n^{[l]},m)$

4.4 为什么使用深层表示

• 前几层学习一些简单的特征，如边缘检测、音调变化，深层会将简单的特征组合起来变成特殊的特征。
• 电路理论：
  • 例子：计算$x_{1}XOR{x}_{2}XOR...XOR{x}_n$
    

4.5 搭建深层神经网络块

⚠️ 第$l$层的设计

4.6 前向和反向传播

具体实现

前向传播

• 目的:
  • Input $a^{[l-1]}$
  • Output $a^{[l]}$,cache $(z^{[l]})$
• 公式：
  $Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$
  $A^{[l]}=g^{[l]}(Z^{[l]})$

反向传播

• 目的:
  • Input $d{a}^{[l]}$
  • Output $d{a}^{[l-1]},d{W}^{[l]},d{b}^{[l]}$,cache $(z^{[l]})$
• 公式：
  单个样本:
  $d{z}^{[l]}=d{a}^{[l]}\ast g^{[l]}(z^{[l]})$
  $d{w}^{[l]}=d{z}^{[l]}{a}^{[l-1],T}$
  $d{b}^{[l]}=d{z}^{[l]}$
  $d{a}^{[l-1]}=w^{[l],T}d{z}^{[l]}$y
  多个样本:
  $d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l]}(Z^{[l]})$
  $d{W}^{[l]}=d{Z}^{[l]}{A}^{[l-1],T}$
  $d{b}^{[l]}=\frac{1}{m}np.sum(d{Z}^{[l]},axis=1,keepdims=True)$
  $d{a}^{[l-1]}=w^{[l],T}d{z}^{[l]}$

4.7 参数 & 超参数

⚠️ 参数

$W^{[1]},b^{[1]},W^{[2]},b^{[2]}\dots \dots$

⚠️ 超参数

• 学习率:$\alpha$
• 循环次数
• 隐层数量: $L$
• 每个隐层的神经元数量(Hidden Unit): $n^{[1]},n^{[2]}\dots \dots$
• 不同的激活函数

其他：

• 超参数可能会随着时间变化而变化，因为电脑的型号会变动。