Pytorch DataParallel and DistributedDataParallel
Pytorch DataParallel and DistributedDataParallel
最近试着使用Pytorch跑单机多卡训练,遇到了不少问题,做个总结和教程方便未来观看。我自己也是一个新手,很多东西总结的不好,有问题请多多指教,不懂的地方可以看参考文档,很多东西写的比我详细(本文只针对单机多卡训练,多机多卡训练未经过验证,请酌情观看)
环境:
python 3.7
pytorch 1.4.0
DataParallel
DataParallel是官方最早提供的一个库,使用非常简单,一行就够了
i
原创
2020-10-13 19:32:22 ·
596 阅读 ·
0 评论