深度学习框架Pytorch使用笔记（不断更新）

多卡训练

当一台机器上有多张卡可以使用时，我们希望能够在多张GPU上跑实验

torch.nn.DataParallel

显卡负载不均衡…（to be update）主卡比其他副卡占了将近2倍的显存

PyTorch分布式训练

没试过，还不会，但听说可以解决负载不均衡的问题

CPU 内存占用率不断增长

num_workers

当num_workers设为0时，CPU memory没有增长，但是取数据特别慢。在num_wokers = 8时，每秒钟能处理将近128张图片，但我把num_workers设置为0，每秒钟处理的图片数大概是8-10张，相差10倍多…
我遇到的问题是：
当num_workers大于0时，内存会渐渐增长，直到溢出（CPU memory leak）, 120G都不够用。。。

1. num_workers还是要大于0，不然时间难以承受
2. 检查你的变量里是不是有保存list，根据pytorch官方人员的解答，其实不是真正的“内存爆掉”，而是python 语言设计的机制。
   解决方法是：将list变量换成numpy array或者tens