![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch编译解决方案
文章平均质量分 75
深度瞎学
这个作者很懒,什么都没留下…
展开
-
AttributeError: module ‘torch.distributed‘ has no attribute ‘deprecated‘问题解决方案
问题在参加一个分类比赛的时候down了一套demo用来做比赛,但是在导入from apex.parallel import DistributedDataParallel as DDP的时候提示错误:AttributeError: module ‘torch.distributed‘ has no attribute ‘deprecated‘解决方法:AttributeError: module ‘torch.distributed‘ has no attribute ‘deprecated‘首原创 2021-01-12 15:01:52 · 15271 阅读 · 12 评论 -
pytorch 使用dataparallel时不支持 nccl
问题出现在我将torch1.5.1升级到1.7.0时,使用分布式计算出现了不支持nccl,从而无法进行单机多卡计算。所以这提醒我们环境能用的情况下千万千万不要去更新(未更新之前我是可以使用分布式计算的。。。)。扯远了,回归正题。当出现这个问题的时候我先将cuda10.1与对应的cudnn重新安装。然后重新跑程序发现还是不能进行分布式。然后我将torch1.7.0退回1.5.1再跑,发现还是不能进行分布式,而且还出现了新问题:RuntimeError: CUDA out of memory. T原创 2020-11-14 20:48:27 · 2881 阅读 · 3 评论 -
Pytorch对于使用多GPU的注意事项
1.关于模型的打印或保存问题首先对于多GPU的使用分两种方案一种是简单的DP方案一种是复杂的DDP方案,在此处我们使用的是DP方案: if t.cuda.device_count() > 1: model = nn.DataParallel(model,device_ids=[0, 1]) if opt.use_gpu: model.cuda()由于两张卡所以我直接定义的 device_ids=[0, 1],若不定义此项dataparallel会自动分配所有GPU原创 2020-11-20 13:37:55 · 344 阅读 · 0 评论