Huggingface：高效多GPU训练

https://huggingface.co/docs/transformers/perf_train_gpu_many

概念

首先介绍一下名词概念：
Data Parallel（DP）：数据并行，相同的步骤多次执行，把一个batch的数据分成多份，该处理是并行的，所有步骤都会在结束时同步。

Tensor Parallel（TP）：Tensor并行，把一整个tensor分成多份，每份被分配在指定的GPU上，在这个过程中，每份单独在不同的gpu上单独的运行，并最终同步结果。

Pipline Parallel（PP）：把模型的一个层或者多个层放在一个单独的GPU，每个gpu并行处理模型的不同层。

Zero Redundancy Optimizer (ZeRO) ：同样执行tensor分割操作，有些类似于TP，除了整个tensor被重建用于前向传播与反向传播，因此模型不需要被更改。也支持卸货操作，对与GPU受限的设备。

Sharded DDP：是基本ZeRO概念的另一个名称，用于各种其他ZeRO实现。

动态策略

Single Node、Multi-GPU

适合在单GPU的策略：

1. DDP
2. Zero

不适合单GPU的策略：
3. DDP
4. Zero
5. TP

multi-node/multi-gpu

拥有快速节点连接：

ZeRO - as it requires close to no modifications to the model
PP+TP+DP - less communications, but requires massive changes to the model
没有快速节点连接：

DP+PP+TP+ZeRO-1