Pytorch版Lookahead使用及遇到的问题

接触深度学习不久。最近听说Lookahead优化器在深度学习任务重可以达到更快的收敛速度，甚至超过了SGD，所以决定试试效果。

看到网上大都是这样使用：

Lookahead源码可参考：
1、https://github.com/alphadl/lookahead.pytorch/blob/master/lookahead.py.
2、https://github.com/lonePatient/lookahead_pytorch/blob/master/optimizer.py.

新建Python文件，把源码拷到自己的工程中就可以使用啦。

使用时只需要from utils.Lookahead import，如果用from utils import Lookahead会出现：TypeError: 'module' object is not callable。

如果在源码中from torch.optim import Optimizer会出现报错，可改成from torch.optim.optimizer import Optimizer。