Ng深度学习笔记 深层神经网络

前向传播和反向传播（Forward and backward propagation）

前向传播的步骤可以写成： $z^{[l]}=W^{[l]}\cdot a^{[l-1]}+b^{[l]}$
​ $a^{[l]}=g^{[l]}\left(z^{[l]}\right)$
向量化实现过程可以写成： $z^{[l]}=W^{[l]}\cdot A^{[l-1]}+b^{[l]}$
​ $A^{[l]}=g^{[l]}(Z^{[l]})$

反向传播的步骤可以写成：
（1）$d{z}^{[l]}=d{a}^{[l]}\ast {g^{[l]}}^{\prime }(z^{[l]})$
（2）$d{w}^{[l]}=d{z}^{[l]}\cdot a^{[l-1]}$
（3）$d{b}^{[l]}=d{z}^{[l]}$
（4）$d{a}^{[l-1]}=w^{\left[l\right]T}\cdot {dz}^{[l]}$
（5）$d{z}^{[l]}=w^{[l+1]T}d{z}^{[l+1]}\cdot {g^{[l]}}^{\prime }(z^{[l]})$
式子（5）由式子（4）带入式子（1）得到，前四个式子就可实现反向函数。
向量化实现过程可以写成：
（6）$d{Z}^{[l]}=d{A}^{[l]}\ast {g^{\left[l\right]}}^{\prime }\left(Z^{[l]}\right)$
（7）$d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}\cdot A^{\left[l-1\right]T}$
（8）$d{b}^{[l]}=\frac{1}{m}np.sum(d{z}^{[l]},axis=1,keepdims=True)$
（9）$d{A}^{[l-1]}=W^{\left[l\right]T}.d{Z}^{[l]}$
总结一下：

第一层可能有一个ReLU激活函数，第二层为另一个ReLU激活函数，第三层可能是sigmoid函数（如果你做二分类的话），用来计算损失；这样你就可以向后迭代进行反向传播求导来求${dw}^{[3]}$，${db}^{[3]}$ ，${dw}^{[2]}$ ，${db}^{[2]}$ ，${dw}^{[1]}$ ，${db}^{[1]}$。在计算的时候，缓存会把$z^{[1]}$ $z^{[2]}$$z^{[3]}$传递过来，然后回传${da}^{[2]}$，${da}^{[1]}$ ，可以用来计算${da}^{[0]}$，但我们不会使用它。

核对矩阵的维数（Getting your matrix dimensions right）

$w^{[l]}$: ($n^{[l]}$,$n^{[l-1]}$)；
$b^{[l]}$ : ($n^{[l]},1)$；
$z^{[l]}$,$a^{[l]}$: $(n^{[l]},1)$;
${dw}^{[l]}$和$w^{[l]}$维度相同，${db}^{[l]}$和$b^{[l]}$维度相同，且$w$和$b$向量化维度不变，但$z$,$a$以及$x$的维度会向量化后发生变化。

向量化后：
$Z^{[l]}=(z^{[l][1]}，z^{[l][2]}，z^{[l][3]}，\dots ，z^{[l][m]})$，
$m$为训练集大小，$Z^{[l]}$的维度$(n^{[l]},m)$
$A^{[l]}$：$(n^{[l]},m)$，$A^{[0]}=X=(n^{[l]},m)$

搭建神经网络块（Building blocks of deep neural networks）

超参数

比如算法中的learning rate $a$（学习率）、iterations(梯度下降法循环的数量)、$L$（隐藏层数目）、$n^{[l]}$（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你来设置，这些数字实际上控制了最后的参数$W$和$b$的值，所以它们被称作超参数。