【深度学习笔记】3 自动微分 autograd

Backpropagation算法

参考 李宏毅深度学习2020
我们采用 gradient descent 方法，需要 loss 对 各个参数 $w_i,b_i$ 的偏导数，需要用到求导链式法则





这里注意的是 $\delta a/\delta z={\sigma }^{\prime }(z)$ 是个常数，并且在 forward pass 中计算过

• 设 $C^n=loss(y^n,{\hat{y}}^n)$ 这里最后一个 $\delta C/\delta z=\delta C/\delta y=los{s}^{\prime }(y,\hat{y})$
• 前向运算时计算 $\delta z/\delta w,z,{\sigma }^{\prime }(z)$,反向计算时计算 $\delta C/\delta$