DP、DDP、FSDP

DP和DDP的相似之处：

1. DP和DDP都是每张卡复制一个有相同参数的模型副本；
2. 每次迭代，每张卡分别输入不同批次数据，分别计算梯度

DP和DDP的不同之处：

1. DP有一张主卡，单独维护模型优化器。所有卡计算完梯度后，主卡汇聚其他卡的梯度进行平均并用优化器更新模型参数。再将模型参数更新至其他卡上。
2. DDP则分别为每张卡创建一个进程，每个进程相应的卡上都独立维护模型和优化器。在每次每张卡计算完梯度之后，进程之间用NCCL进行通信，使各卡获取其他卡的梯度。各卡对获取的梯度进行平均，然后执行后续的参数更新。由于每张卡上的模型与优化器参数在初始化时就保持一致，而每次迭代的平均梯度也保持一致，那么即使没有进行参数复制，所有卡的模型参数也是保持一致的。
3. 可以理解为DP为多线程，DDP为多进程

参考链接：https://www.cnblogs.com/qizhou/p/16770143.html

FSDP使属于DDP的一种，主要是在于要把DDP中的all-reduce操作拆解为reduce-scatter和all-gather 操作（在参数处理的时候）

参考链接：https://blog.csdn.net/qinduohao333/article/details/131650137

如何退出DDP多卡？

直接用sys.exit()就行

参考链接：
https://zhuanlan.zhihu.com/p/672633677
https://discuss.pytorch.org/t/how-to-exit-in-ddp/129583