Optimizer 优化器

在import torch之后，torch.optim中包含了多种优化器，用于算法的优化，例如更新参数等。

常见的优化器有SGD、Adam、Adagrad，需要参数传进去并优化，后续通过optimizer.step()可以实现每步训练完模型之后，都进行参数的优化更新。

optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=0.01)
optimizer = torch.optim.Adagrad(model.parameters(), lr=0.01, weight_decay=0.01)
optimizer = optim.Adam(model.parameters(), lr = 0.01)

参考：

1. torch.optim优化算法理解之optim.Adam()：https://blog.csdn.net/kgzhang/article/details/77479737