【pytorch】torch.utils.data.DataLoader中的pin_memory属性

原文：https://blog.csdn.net/tsq292978891/article/details/80454568 
原文：https://blog.csdn.net/tfcy694/article/details/83270701  

doc解释：

    https://pytorch.org/docs/stable/_modules/torch/utils/data/dataloader.html#DataLoader
    pin_memory (bool, optional): If True, the data loader will copy tensors into CUDA pinned memory before returning them.
 

通常情况下，由于虚拟内存技术的存在，数据要么在内存中以锁页（“pinned”）的方式存在，要么保存在虚拟内存（磁盘）中。而cuda只接受锁页内存传入，所以在声明新的dataloader对象时，直接令其保存在锁页内存中，后续即可快速传入cuda。否则，数据需要从虚拟内存中先传入锁页内存，再传入cuda，速度将大大增加。其缺点是对于内存的大小要求较高。

锁页内存理解（pinned memory or page locked memory）：https://blog.csdn.net/dgh_dean/article/details/53130871
What is the disadvantage of using pin_memory： https://discuss.pytorch.org/t/what-is-the-disadvantage-of-using-pin-memory/1702

pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。

主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不足时，数据会存放在虚拟内存中。

而显卡中的显存全部是锁页内存！

当计算机的内存充足的时候，可以设置pin_memory=True。当系统卡住，或者交换内存使用过多的时候，设置pin_memory=False。因为pin_memory与电脑硬件性能有关，pytorch开发者不能确保每一个炼丹玩家都有高端设备，因此pin_memory默认为False。