关于torch.nn.DataParallel()问题
关于torch.nn.DataParallel()问题网上关于nn.DataParallel()使用的方法比较多,就不介绍了,这里说一下我遇到的问题,本人有3个gpu,想将项目放到这3个上同时跑,按照网上说的做法,并没用,不管怎么调,始终是在一个gpu上跑,后来看到nn.DataParallel()的实现:该容器是通过在batch维度上将输入分到指定的device中来在给定的module应用上实现并行,batch size的大小应该比GPU的个数大。所以我去看了下自己的batch_size,结果是1。将b
原创
2020-11-20 10:27:59 ·
828 阅读 ·
0 评论