目录:
-
理论篇
1.1 训练大语言模型存在问题?
1.2 什么是点对点通信?
1.3 什么是集体通信?
1.4 什么是数据并行?
1.5 数据并行如何提升效率?
1.6 什么是流水线并行?
1.7 什么是张量并行 (intra-layer)?
1.8 数据并行 vs 张量并行 vs 流水线并行?
1.9 什么是3D并行?
1.10 想要训练1个LLM,如果只想用1张显卡,那么对显卡的要求是什么?
1.11 如果有N张显存足够大的显卡,怎么加速训练?
1.12 如果显卡的显存不够装下一个完整的模型呢?
1.13 PP推理时,是一个串行的过程,1个GPU计算,其他空闲,有没有其他方式?
1.14 3种并行方式可以叠加吗?
1.15 Colossal-AI 有1D/2D/2.5D/3D,是什么情况?
1.16 除了3D并行有没有其他方式大规模训练?
1.17 有了ZeRO系列,为什么还需要3D并行?
1.18 平民适不适合玩3D并行?
1.19 平民适不适合直接上多