Pytorch分布式并行处理

最新推荐文章于 2023-06-20 14:58:53 发布

ProfSnail

最新推荐文章于 2023-06-20 14:58:53 发布

阅读量260

点赞数

分类专栏：人工智能原理 Pytorch 文章标签： pytorch 深度学习 python

本文链接：https://blog.csdn.net/ProfSnail/article/details/119983634

版权

人工智能原理同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

Pytorch

4 篇文章 0 订阅

订阅专栏

Pytorch在1.9版本的官方文档中，明确说明了不再建议使用nn.DataParallel，或者是multiprocessing，而是推荐使用nn.parallel.DistributedDataParllel。即使只有一个GPU核，同样也推荐使用nn.paralle.DistributeDataParalle。官方文档给出的理由是：

The difference between DistributedDataParallel and DataParallel is: DistributedDataParallel uses multiprocessing where a process is created for each GPU, while DataParalleluses multithreading. By using multiprocessing, each GPU has its dedicated process, this avoids the performance overhead caused by GIL of Python interpreter.

大意是，DistributedDataParallel比较优秀，是因为他对每个GPU分配一个固定的进程；而DataParallel不推荐，因为使用的是多线程的方法，这可能会导致来自于GIL或者Python解释器的性能开销。
另一个Basic文档里面提到，对于torch.multiprocessing或者是torch.nn.DataParallel来说，用户必须要显式的对每个进程创建一个独立的、关于主训练脚本的副本。这不方便。