超万卡集群的新型智算技术方案

 

面向超万卡集群的新型智算技术白皮书

   

超万卡集群将有助于压缩大模型训练时间，实现模型能力的快速迭代，并及时对市场趋势作出应对。然而，如何在超万卡集群中实现高效的训练，并长期保持训练过程的稳定性，是将大模型训练扩展到数万张GPU卡上所要面临的双重挑战。超万卡集群运行过程中涉及到进群有效算力发挥、超大规模互联网络稳定性保障、故障的快速排查和修复等关键问题，目前都是业内关注的焦点。

超万卡集群的核心设计原则

在大算力结合大数据生成大模型的发展路径下，超万卡集群的搭建不是简简单单的算力堆叠，要让数万张GPU卡像一台“超级计算机”一样高效运转，超万卡集群的总体设计应遵循以下五大原则：

• 坚持打造极致集群算力：基于Scale-up互联打造单节点算力峰值，基于Scale-out互联将单集群规模推高至万卡以上，两者叠加构建超万卡集群的打算里基座；
• 坚持构建协同调优系统：依托超大规模的算力集群，通过DP/PP/TP/EP等各种分布式并行训练策略，持续提升有效算力，实现极致的计算通信比，最大化模型开发效率；
• 坚持实现长稳可靠训练：具备自动检测和修复软硬件故障的能力，面向千万器件满负荷运行系统，持续提升MTBF和降低MTTR并实现自动断点续训能力，支持千亿稠密、万亿稀疏大模型百天长稳训练，保证系统稳定性和鲁棒性；
• 坚持提供灵活算力供给：支持集群算力调度，提供灵活弹性的算力供给和隔离手段，实现训练和推理资源的按需调配， 保持单集群大作业和多租户多任务并行训练性能持平；
• 坚持推进绿色低碳发展：持续推进全套液冷解决方案在超万卡集群的应用，追求极致绿色能效比（FLOPs/W）和极低液冷PUE至1.10以下。

超万卡集群总体架构设计

总体架构由四层一域构成，四层分别是机房配套、基础设施、智算平台和应用使能，一域是智算运营和运维域。

 

-对此，您有什么看法见解？-

-欢迎在评论区留言探讨和分享。-