pytorch分布式训练

pytorch分布式训练最常见的有两种DP和DDP。分别就是DataParallel和DistributedDataParallel。

前者是用python的多线程，可能会发生GIL冲突的问题，而且训练的速度会受到主卡的限制，需要十分谨慎地考虑如何分配计算任务。

后者是为每一个gpu开启一个python进程，官方解释说用这种方法可以达到更好的多gpu训练效率，相应的我们需要更复杂的代码。

另外呢还有两个类不得不提分别是torch.multiprocess和troch.distributed.lauch。

后者严格来说不是一个类，而是一个脚本。两者的目的相同，都是用来在集群上开启多个进程。

早期用的主要是multiprocess+DP，引入DDP之后呢，也有multiprocess+DDP的做法（后面简称为mp + DDP）。

相比之下torch.distributed.lauch+DDP操作比mp+DDP使用更加简单，选项更加全面，效率也要比DP高得多

而看官方文档中的实例可以发现，文档中使用的是torchrun+DDP，torchrun实际上就是torch.distributed.lauch的升级版，使用更加简单，但可能没有这么灵活，如果要在slurm之类的集群上使用分布式训练还是可以考虑使用torch.distributed.lauch