爱串门的小马驹博客

是阿里巴巴构建的一个统一的模拟器，旨在大规模精确有效地模拟LLM训练过程。通过将训练框架、内核计算和集体通信库有选择地高保真集成到仿真过程中，SimAI在仿真中实现了高精度。简单点来说，大模型在大规模集群上的训练过程。

可以根据各芯片的实际算力，让算力较高的芯片处理更多的层，算力较低的芯片处理更少的层，从模型结构角度，每层的计算量是一致的，所以按算力比作为层拆分比例可以达到最好的效果。例如，假设芯片A的算力是芯片B的4倍，则可以让芯片A计算4层transformer模块，让芯片B计算1层transformer模块，以此达到资源的最优配置，理论上可实现最高的吞吐性能。我们根据不同类型GPU加速器上阶段的执行时间和阶段之间的通信时间，将流水线并行中的阶段安排到不同类型的GPU加速器上，以优化端到端的训练时间。

国内已经有三家，实现了异构集群，GPU与国产芯片异构通信方案，初步调用结果如下。

GPU通过NVlink互联，每台主机配备了9个NIC，每个NIC具有2×200Gbps。这九个NIC中的一个（即图7中的NIC0）连接到前端网络，而其余八个NIC连接到后端网络，在LLM训练期间承载流量。这八个NIC中的每一个都服务于一个专用GPU，每个NIC两个端口。

1.1 万卡训练集群出现原因、挑战、设计思路、考虑因素；1.2 万卡训练大语言模型LLM训练优化，并行注意力、滑动窗口；1.3 万卡分布式训练，ZeRO数据并行优化 1.6 通信与数据加载并行数据加载优化，消除多余加载器，数据加载通信并行

ECMP（Equal-Cost Multi-Path Routing）等价多路径路由未开启ECMP，无法充分利用路径资源。如图1所示，假设从S0到Server的为S0-S1-S2-S4即图中橘色路径，那么即便存在另一条等价路径，蓝色路径，路由器仍然会每次选择第一条橘色路径转发数据。除非此条路径发生拥塞，才会重新选择路径。开启ECMP，便可同时利用这两条路径，进行基于流的负载均衡，例如主机A到Server的数据流选择橘色路径，主机B到Server的数据流选择蓝色路径。

其中C表示训练语言模型所需的总计算量，N表示模型参数量，D表示用于训练的语料总量，6表示每训练一个token所需的浮点计算量约为6N，其中前向计算2N，反向计算4N。activati注意：这里的算力利用率是整个训练过程中的算力利用率，有的地方的算力利用率是计算的时候的算力利用率，不考虑纯通信和集群故障。其中C表示训练语言模型所需的总计算量，S表示训练模型所用集群的算力，MFU(Model FLOPs Utilization)训练模型时的算力利用率。activation checkpoint