dreamtactic的博客

原创 Pytorch DataParallel and DistributedDataParallel

Pytorch DataParallel and DistributedDataParallel 最近试着使用Pytorch跑单机多卡训练，遇到了不少问题，做个总结和教程方便未来观看。我自己也是一个新手，很多东西总结的不好，有问题请多多指教，不懂的地方可以看参考文档，很多东西写的比我详细（本文只针对单机多卡训练，多机多卡训练未经过验证，请酌情观看） 环境： python 3.7 pytorch 1.4.0 DataParallel DataParallel是官方最早提供的一个库，使用非常简单，一行就够了 i