最近在研究 Megatron-LM 源码,本篇文章聊聊在 Megatron 中如何自定义流水线并行的切分方式。 Megatron-LM 代码版本:23.06 https://github.com/NVIDIA/Megatron-LM/tree/23.06/megatrongithub.com/NVIDIA/Megatron-LM/tree/23.06/megatrongithub.com/NVIDIA/Megatron-LM/tree/23.06/megatron 之前的系列文章: 简枫:Megatron-LM 近期的改动