反向传播解析

对于单个样本计算一次梯度：

                                            

                                       

在逻辑回归中，我们要做的就是修改参数w和b，来减少损失函数。因为我们要计算关于损失函数的导数，反向传播时，首先计算损失函数对于da的导数。

                                             da = dL/da = -y/a+(1-y)/(1-a) 。

继续往回，算出损失函数对z的导数：

                                           dz = dL/dz = (dL/da)*(da/dz) = da*a(1-a) = a-y

 其中 da/dz=a(1-a) 注:仅对于sigmoid函数成立。

现在可以计算当前L层的dw，db。

小结：

（1）以上为单个隐藏层时的梯度计算，扩展到多个隐藏层，只需继续往回走。

（2）可以注意到，每次往回计算（L-1）层的导数时，都会用到