在import torch
之后,torch.optim
中包含了多种优化器,用于算法的优化,例如更新参数等。
常见的优化器有SGD、Adam、Adagrad,需要参数传进去并优化,后续通过optimizer.step()
可以实现每步训练完模型之后,都进行参数的优化更新。
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=0.01)
optimizer = torch.optim.Adagrad(model.parameters(), lr=0.01, weight_decay=0.01)
optimizer = optim.Adam(model.parameters(), lr = 0.01)
参考:
- torch.optim优化算法理解之optim.Adam():https://blog.csdn.net/kgzhang/article/details/77479737