loss.backward()进行反向传播求出梯度
optimizer进行参数管理与更新,所以optimizer放在backward后面用求出的梯度进行参数更行,记住step之前要进行optimizer.zero_grad(),否则用的梯度包含上一个batch的,相当于batch_size为之前的两倍,所以optimizer.step()是用在batch里的
scheduler.step()是用来更新学习率的,所以用在epoch里
参考资料: Pytorch optimizer.step() 和loss.backward()和scheduler.step()的关系与区别 (Pytorch 代码讲解)
pytorch学习笔记(1)-optimizer.step()和scheduler.step()
pytorch学习笔记——loss.backward()、optimizer.step()、scheduler.step()
于 2022-03-03 11:50:04 首次发布