大模型学习笔记08——分布式训练

大模型学习笔记08——分布式训练

模型规模的扩大，对硬件（算力、内存）的发展提出要求。然而，因为内存墙的存在，单一设备的算力及容量，受限于物理定律，持续提高芯片的集成越来越困难，难以跟上模型扩大的需求。

为了解决算力增速不足的问题，人们考虑用多节点集群进行分布式训练，以提升算力，分布式训练势在必行

1、常见的并行策略

1. 数据并行：将数据切分为多份分发到每个设备上，每个设备上拥有完整的模型参数，将所有设备的结果拼接则为完整的输出
2. 模型并行：每个设备上的数据是完整并一致的，每个设备仅有模型的一部分
3. 流水线并行：将网络切为多个阶段并分发到不同的设备上，让完整的数据按顺序途径所有的设备完成计算
4. 混合并行：流水线并行、数据并行与模型并行都有使用

注

学习内容来源：添加链接描述