解决PyTorch训练速度慢。面对大数据集情况下，Dataloder pin_memory的作用

缘起：

在训练深度网络时，如果数据集不大（小几十个GB）一般可以在重写nn.Dataset类时直接加载到内存中；而数据集很大（大几十上百GB）很难一次全部加载到内存，这时就要用到Dataloder pin_memory。

一般pin_memory默认为false，使用时需要同时将non_blocking设置为True。

在知乎上看到一些介绍pin_memory的，被称为锁页内存，具体原理不是很清楚。大体上可以类比把数据加载到虚拟内存上。

实测：

我的训练数据集一百多GB，打开pin_memory。第一个batch读取时间大约30多分钟；第二个及以后的batch的读取时间就降到了1分30秒。

在读第一个batch时，用iotop命令查看磁盘IO，python进程以30M/s左右的速度在读取数据，此时top命令中的wa显示3到5左右，说明此时有IO数据在等待。

在后面的batch中，iotop显示如下，几乎没有从磁盘读取，top中的wa也几乎为0，也就是没有数据IO在让CPU等待。

 

 猜想此时的数据都在虚拟内存中，如下图红色为虚拟内存，绿色是实占内存：

 

结论：

打开pin_memory，让数据常驻虚拟内存，不会占用实际内存，但是能达到很快的读取速度，不需要发生频繁的磁盘IO。