吴恩达深度学习--深度神经网络

介绍

• logistic回归是浅层神经网络，浅层神经网络和深层神经网络是神经网络的层数决定的。

深度神经网络例子及符号约定

4层神经网络示意图

符号约定

• 上图表示的是一个4层神经网络，3层隐层1层输出层，这4层的单元的数目分别是：4、4、3、1。我们有如下符号约定：

• $l$为层数，这里l=5。

• 输入层的维度：$n^{[0]}=3$

• 隐藏层的维度：$n^{[1]}=5$、$n^{[2]}=5$、$n^{[3]}=3$

• 输出层的维度：$n^{[4]}=1$

• 激活函数：$a^{[l]}=g^{[l]}(z^{[l]})$、$z^{[l]}=w^Ta^{[l-1]}+b^{[l]}$，($l>=1$)

正向传播

$z^{[l]}=w^{[l]}A^{[l-1]}+b^{[l]}$

$A^{[l]}=g^{[l]}(z^{[l]})$

正向传播的向量化

$z^{[1]}=w^{[1]}A^{[0]}+b^{[1]}$

$A^{[1]}=g^{[1]}(z^{[1]})$

$z^{[2]}=w^{[2]}A^{[1]}+b^{[2]}$

$A^{[2]}=g^{[2]}(z^{[2]})$

$z^{[3]}=w^{[3]}A^{[2]}+b^{[3]}$

$A^{[3]}=g^{[3]}(z^{[3]})$

$z^{[4]}=w^{[4]}A^{[3]}+b^{[4]}$

$Y^{'}=g^{[4]}(z^{[4]})=A^{[4]}$

• 从第一层到第4层的计算显式的使用for循环，没有其他办法。

核对矩阵的维数

• $w^{[l]}$的维度：$(n^{[l]},n^{[l-1]})$

• $b^{[l]}$的维度：$(n^{[l]},1)$

• $dw$维度同$w$维度

• $db$维度同$b$维度

• $z$的维度：$(n^{[l]},m)$

• $a$的维度同$z$的维度

• $x$的维度：$(n^{[l-1]},m)$

• -