Pytorch代码事项
optimizer.step()通常用在每个mini-batch之中,而scheduler.step()通常用在epoch里面,但是不绝对,可以根据具体的需求来做。只有用了optimizer.step(),模型才会更新,而scheduler.step()是对学习率 learning rate 进行调整。loss.backward() # 反向传播,计算梯度。optimizer.step() # 更新模型参数。optimizer.zero_grad() # 清零梯度。
原创
2024-01-24 20:56:35 ·
419 阅读 ·
0 评论