pytorch 训练过程理解

梯度：数学中学到的是求导，也就是一个导数值，如 dL / dw

参数更新 w' = w - a * ( dL / dw )

 

loss.backward()   # dL / dw = 0.04

optimizer.step()   # w' = w - a * ( dL / dw )
                                   = w - a * 0.04