Pytorch：torch.optim

torch.optim文档

构建

要使用torch.optim，必须构造一个optimizer对象。这个对象能保存当前的参数状态并且基于计算梯度更新参数。
构造optimizer必须给它一个包含参数（必须都是Variable对象）进行优化。然后，可以指定optimizer的参数选项，比如学习率，权重衰减等。
如下：

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

为每个参数单独设置选项

Optimizer也支持为每个参数单独设置选项。若想这么做，不要直接传入Variable的iterable，而是传入dict的iterable。每一个dict都分别定 义了一组参数，并且包含一个param键，这个键对应参数的列表。其他的键应该optimizer所接受的其他参数的关键字相匹配，并且会被用于对这组参数的优化。
如下：

optim.SGD([
            {'params': model.base.parameters()},
            {'params': model.classifier.parameters(), 'lr': 1e-3}
            ], lr=1e-2, momentum=0.9)