本文旨在阐述如何利用多GPU并行计算和数据并行策略来加速大规模AI模型的训练过程，提高计算效率。通过模型复制和参数分布，实现工作组间的高效数据并行和工作组内的模型并行，从而有效优化模型训练速度和资源利用。
目的：
1.提供大规模的计算能力，为了能够快速训练
2.能够训练大型的模型；
3.能够方便你使用各种模型，优化方法和调整参数。
三种Frameworks：
Multi-GPU, data parallelismL:
模型复制到多个GPU上，数据并行的传入GPU进行训练，每轮训练需要进行parameters collection和parameters distribution。
Multi-GPU，modal and data parallelism
模型和数据都并行化处理，worker group间数据并行，worker group内模型并行。
CPU cluster：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
