提高pytorch速度的几种方法

如何提升PyTorch“炼丹”速度？

 

最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的17种投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。

Faster Deep Learning Training with Pytorch - a 2021 Guide

 

不过需要注意的是，这些方法都是假设是在GPU上训练模型。

这一分享在Reddit上得到了600的热度。

 

接下来，我们便从提速高低开始，依次对这些方法来做介绍。

 

1、选择合适的学习率时间表。

选择的学习率时间表对收敛速度以及模型的泛化性能有很大影响。

Leslie Smith提出的周期性学习速率（CLR)以及 1cycle 策略可以令复杂模型的训练迅速完成。

比如在 cifar10 上训练 resnet-56 时，通过使用 1cycle，迭代次数可以减少10倍，得到与原论文相同的精度。

在最好的情况下，与传统的相比，这个时间表实现了大规模的提速。不过有一个缺点，它们引入了一些额外的超参数。

为什么这样做有效？一种可能的解释是，定期增加学习率有助于更快地穿越损失函数中的鞍点。

 

2、在DataLoader中使用多个工作程序并固定内存。

使用时torch.utils.data.DataLoader，请设置num_workers > 0，而不是默认值0，和pin_memory=T