本文是LLM系列文章,针对《A Look Into Training Large Language Models on Next Generation Datacenters》的翻译。
在下一代数据中心上训练大型语言模型的研究
摘要
计算机网络研究还值得吗?鉴于超大规模网络在已部署的大型网络中占据主导地位,该领域存在哪些相关问题?我们采取非常规的方法来寻找相关的研究方向,从微软为机器学习建造一个 1000 亿美元的数据中心的计划开始。我们的目标是了解可以在这样的数据中心中训练哪些模型,以及在此过程中可能遇到的高级挑战。我们首先检查目标数据中心的冷却和电力要求所带来的限制,发现在单个位置构建是不可行的。我们使用 LM 缩放定律来确定我们可以训练 50T 或 100T 参数的模型。最后,我们研究分布式训练如何适用于这些模型以及网络要求是什么。我们的结论是,构建数据中心并训练此类模型在技术上是可行的,但这需要一种新颖的基于 NIC 的多路径传输以及整个训练堆栈的重新设计,为我们社区在不久的将来概述了研究议程。
1 引言
2 基础设施、电力和冷却
3 模型缩放
4 网络通讯
5 网络拓扑和传输协议
6 研究问题
需要取得重大突破