Coursera Deeplearning.ai「深度学习」课程笔记L1.W4深层神经网络

1. 各参数的向量化表示

$L$表示神经网络的层数，输入层的索引为0，对于每层 $l$ 都用$a^{[l]}$。
用 $w^{[l]}$ 来记作在 $l$ 层计算 $z^{[l]}$ 的权重，再通过用激活函数 $g$ 计算 $a^{[l]}$。
$$输入变量A^{[0]}=X=\left[\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ x^{(1)}& x^{(2)}& \cdots & x^{(m)}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right]维度为\_\ast m，m为样本数\text{\hspace{1em}(1)}$$

$$输入变量W^{[l]}=\left[\begin{array}{ccc}\cdots & w^{(1)}& \cdots \\ \cdots & w^{(2)}& \cdots \\ & ⋮& \\ \cdots & w^{(h)}& \cdots \end{array}\right]维度为h\ast \_，h为隐藏层节点数\text{\hspace{1em}(2)}$$

2. 前向传播

$Z^{[l]}=W^{[l]}\ast A^{[l-1]}+B^{[l]}$
$A^{[l]}=g^{[l]}(Z^{[l]})$

3. 反向传播

$d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l{]}^{\prime }}(Z^{[l]})$
$d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}\ast A^{[l-1]T}$
$d{B}^{[l]}=\frac{1}{m}np.sum(d{Z}^{[l]},axis=1,keepdims=True)$
$d{A}^{[l-1]}=W^{[l]T}\ast d{Z}^{[l]}$

4. 核对矩阵维数

吴恩达：当实现深度神经网络的时候，其中一个我常用的检查代码是否有错的方法就是拿出一张纸过一遍算法中矩阵的维数。

$w$的维度是（下一层的维数，前一层的维数），即$w^{[l]}:(n^{[l]},n^{[l-1]})$；
$b$的维度是（下一层的维数，1），即$b^{[l]}:(n^{[l]},1)$；
$z$和$a$的维度是，$z^{[l]},a^{[l]}:(n^{[l]},1)$

$d{w}^{[l]}$和$w^{[l]}$维度相同，$d{b}^{[l]}$和$b^{[l]}$维度相同
向量化后：$w$和$b$向量化维度不变，但$z$，$a$以及$x$的维度会向量化后发生变化。
$Z^{[l]}$可以看成由每一个单独的$z^{[l]}$叠加而得到，即
$$Z^{[l]}=(z^{[l][1]},z^{[l][2]},z^{[l][3]},...,z^{[l][m]})$$
其中，$m$为训练集大小。所以，
$Z$和$A$的维度是，$Z^{[l]},A^{[l]}:(n^{[l]},m)$