[细读经典]Megatron论文和代码详细分析(1)

[细读经典]Megatron论文和代码详细分析(1)

导航：

迷途小书僮：[细读经典]Megatron论文和代码详细分析(2)102 赞同 · 41 评论文章正在上传…重新上传取消

前言

作为一款支持multi-node，multi-GPU的可以直接用来训练GPT3等世界上超大规模的自然语言模型的开源代码，Megatron值得被深入分析。

https://github.com/NVIDIA/Megatron-LM​github.com/NVIDIA/Megatron-LM

我使用的版本是2020年9月12号最后commit的版本，在这里：