pytorch 多GPU 问题记录

最新推荐文章于 2024-06-07 11:42:10 发布

「已注销」

最新推荐文章于 2024-06-07 11:42:10 发布

阅读量6.3k

点赞数 7

文章标签：多进程 pytorch

本文链接：https://blog.csdn.net/qq_17732497/article/details/106637672

版权

在尝试使用PyTorch进行多GPU训练时，遇到了共享内存问题和多进程问题。共享内存问题由于open file限制，增大限制后得以解决。多进程问题涉及Python在Unix与Windows上的不同实现，通过检查`__name__`属性和调用`freeze_support()`避免无限进程创建。

摘要由CSDN通过智能技术生成

共享内存问题：unable to open shared memory object </torch_> in read-write mode

使用NAS，网络太大，一块放不下，所以尝试用ddp玩一个多gpu训练。

(py36torch15) xx@cluster:~/wang/FasterCrowdCountingNAS/FBNetBranch$ python main.py 
/home//anaconda3/envs/py36torch15/lib/python3.6/site-packages/pytorch_lightning/utilities/distributed.py:23: UserWarning: You requested multiple GPUs but did not specify a backend, e.g. Trainer(distributed_backend=dp) (or ddp, ddp2). Setting distributed_backend=ddp for you.
  warnings.warn(*args, **kwargs)
GPU available: True, used: True
No environment variable for node rank defined. Set as 0.
CUDA_VISIBLE_DEVICES: [0,1,2]
Traceback (most recent call last):
  File "main.py", line 29, in <module>
  File "/home//anaconda3/envs/py36torch15/lib/python3.6/site-packages/pytorch_lightning/trainer/trainer.py", line 844, in fit
  File &#

最低0.47元/天解锁文章

「已注销」

关注

7
点赞
踩
6

收藏

觉得还不错? 一键收藏
6
评论
pytorch 多GPU 问题记录

使用NAS，网络太大，一块放不下，所以尝试用ddp玩一个多gpu训练。(py36torch15) xx@cluster:~/wang/FasterCrowdCountingNAS/FBNetBranch$ python main.py /home//anaconda3/envs/py36torch15/lib/python3.6/site-packages/pytorch_lightning/utilities/distributed.py:23: UserWarning: You requested
复制链接

扫一扫