loss.backward():计算loss对于模型中各个requires_grad=True的参数的梯度值
optimizer.step():根据计算得到的梯度值,更新模型中的参数
只有loss.backward之后,参数的grad才有值,否则为None;
optimizer.zero_grad() :将模型中所有参数的梯度值清零
Pytorch中的backward以及optimize
最新推荐文章于 2024-05-07 15:14:04 发布
loss.backward():计算loss对于模型中各个requires_grad=True的参数的梯度值
optimizer.step():根据计算得到的梯度值,更新模型中的参数
只有loss.backward之后,参数的grad才有值,否则为None;
optimizer.zero_grad() :将模型中所有参数的梯度值清零