第三周：浅层神经网络

本文是神经网络和深度学习课程的笔记。

3.0 重要的结论：

• 参数更新：
• 单个样本
  1. 第k层的输出: $a^{[z]}=g(z^{[k]}),z^{[k]}=w^{[k]}{a}^{[k-1]}+b^{[k]}$，
     其中$w^{[k]}.shape=(n^{[k]},n^{[k-1]})$
     $b^{[k]}.shape=(n^{[k]},1)$
     $z^{[k]}.shape=(n^{[k]},1)$
     $a^{[k]}.shape=(n^{[k]},1)$
  2. 参数更新：
     • $d{z}^{[k]}=\frac{\partial LOSS}{\partial z^{[k+1]}}\frac{\partial z^{[k+1]}}{\partial a^{[k]}}\ast \frac{\partial a^{[k]}}{\partial z^{[k]}}=w^{[k+1],T}d{z}^{[k+1]}\ast g^{\prime }(z^{[k]})$,因为$a^{[k]}=g(z^{[k]}),z^{[k+1]}=w^{[k+1]}{a}^{[k]}+b^{[k+1]}$ *表示对应元素相乘。
     • $d{w}^{[k]}=d{z}^{[k]}{a}^{[k-1],T}$
     • $d{b}^{[k]}=d{z}^{[k]}$
  3. 具体实现
     $d{z}^{[2]}=a^{[2]}-y$ 鉴于g(z)为sigmoid
     $d{W}^{[2]}=d{z}^{[2]}{a}^{[1],T}$
     $d{b}^{[2]}=d{z}^{[2]}$
     $d{z}^{[1]}=W^{[2],T}d{z}^{[2]}\ast g^{[1{]}^{\prime }}(z^{[1]})$
     $d{W}^{[1]}=d{z}^{[1]}{a}^{[0],T}=d{z}^{[1]}{x}^T$
     $d{b}^{[1]}=d{z}^{[1]}$
• 多个样本
  • 通过将多个样本横着挤在一起：$[x^{(1)},...x^{(n)}]$ 引入$X,Y,A^{[n]},Z^{[n]}$
    从而具体实现为：
    $d{Z}^{[2]}=A^{[2]}-Y$ 鉴于g(z)为sigmoid
    $d{W}^{[2]}=\frac{1}{m}d{Z}^{[2]}{A}^{[1],T}$ 因为Cost Function里面有一个$\frac{1}{m}$
    $d{b}^{[2]}=$