Pytorch训练加速技巧小结

1.有时我们会发现，使用Pytorch的模型，训着训着，越来慢了或者outofmemory，这时我们该怎么解决呢？

    主要是因为，模型可能在不断的产生临时变量，这个时候，我们可以设置程序每隔多少次进行一次清除操作：torch.cuda.empty_cache()

2.在数据读取速度不变的情况下，怎样进一步提高模型的训练速度呢？

    PyTorch 会默认使用 cuDNN 加速，并且cuDNN 里面是有很多加速算法，有些加速算法是针对大矩阵，有些加速算法是针对小矩阵，但 torch.backends.cudnn.benchmark=False，会导致，模型所选择的cuDNN里面的加速算法只是一个通用的，并不是最优。当 torch.backends.cudnn.benchmark=True的时候，模型就会为每一步选择一个最优cuDNN 加速算法，所以第一步的训练速度是慢于常规，但后面都是快于常规。

    但使用这个是有一个前提，模型结构在训练过程中是不变化的，传入数据批次和大小数也是不变的。