Andrew Ng Deep Learning 第三周 双层神经网络反向传播 公式推导

在学这部分内容时，并不能理解$d{z}^{[1]}=W^{[2]T}d{z}^{[2]}\ast g^{[1{]}^{\prime }}(z^{[1]})$是怎么推导的
其实就是简单的利用链式法则
还有一点就是当时没有注意$x和a$
推导如下：
$d{z}^{[1]}=\frac{dL}{d{z}^{[1]}}=\frac{dL}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{z}^{[1]}}=\frac{dL}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{a}^{[1]}}\cdot \frac{d{a}^{[1]}}{d{z}^{[1]}}$(chain rule)

$\frac{dL}{d{z}^{[2]}}=d{z}^{[2]}$

$\frac{d{z}^{[2]}}{d{a}^{[}1]}=W^{[2]T}$当时主要就是这一步没有理解

图上$Z^{[2]}=W^{[2]}x+b^{[2]}$,其实这里的第二层输入的x，就是$a^{[1]}$

即$Z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}$,这么看的话结果显然是$W^{[2]}$

但最后的结果还多一个转置，则是为了矩阵维度匹配

$\frac{d{a}^{[1]}}{d{z}^{[1]}}=g^{[1{]}^{\prime }}(z^{[1]})$ 这是隐藏层所用激活函数的导数的写法

综上$d{z}^{[1]}=\frac{dL}{d{z}^{[1]}}=\frac{dL}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{z}^{[1]}}=\frac{dL}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{a}^{[1]}}\cdot \frac{d{a}^{[1]}}{d{z}^{[1]}}$

$=W^{[2]T}d{z}^{[2]}\ast g^{[1{]}^{\prime }}(z^{[1]})$