cuda()和cuda(non_blocking=True)的区别

cuda()和cuda(non_blocking=True)的区别

cuda()是为了将模型放在GPU上进行训练。

non_blocking默认值为False

• 通常加载数据时，将DataLoader的参数pin_memory设置为True（pin_memory的作用：将生成的Tensor数据存放在哪里），值为True意味着生成的Tensor数据存放在锁页内存中，这样内存中的Tensor转义到GPU的显存会更快。
  主机中的内存，有两种存在方式：

1. 锁页：锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘）
2. 不锁页：不锁页内存在主机内存不足时，数据会存放在虚拟内存中。

显卡中的显存全部是锁页内存,当计算机的内存充足的时候，可以设置pin_memory=True。当系统卡住，或者交换内存使用过多的时候，设置pin_memory=False。如果pin_memory=True的话，将数据放入GPU的时候，也应该把non_blocking打开，这样就只把数据放入GPU而不取出，访问时间会大大减少