在阅读前,建议大家先掌握各种并行方式的理论知识。在阅读后,建议大家亲自阅读相关部分的源码细节,并阅读参考部分中推荐的tutorial。
【推荐阅读】:
猛猿:图解大模型训练之:流水线并行(Pipeline Parallelism),以Gpipe为例
猛猿:图解大模型训练之:数据并行上篇(DP, DDP与ZeRO)
猛猿:图解大模型训练之:数据并行下篇(ZeRO,零冗余优化)
在阅读前,建议大家先掌握各种并行方式的理论知识。在阅读后,建议大家亲自阅读相关部分的源码细节,并阅读参考部分中推荐的tutorial。
【推荐阅读】:
猛猿:图解大模型训练之:流水线并行(Pipeline Parallelism),以Gpipe为例
猛猿:图解大模型训练之:数据并行上篇(DP, DDP与ZeRO)
猛猿:图解大模型训练之:数据并行下篇(ZeRO,零冗余优化)