马斯克的 xAI 公司完成了一项震撼业界的技术突破,推出了名为 “Colossus” 的人工智能训练系统。这是世界上最强大的 AI 集群,由多达 100,000 个 Nvidia H100 GPU 提供支持,仅用了 122 天就建成了,并计划很快将规模扩大一倍。
- Colossus 由连接在单一网络结构上的 10 万个液冷 Nvidia H100 GPU 组成,被认为是世界上“最强大的”。
- 该系统的构建和启动仅用了 122 天,这是一个令人难以置信的快速成就,并在美国的一个假期周末上线。
- xAI 计划在未来几个月内将 Colossus 扩展至 200,000 个 GPU(50,000 个 H200)。
- 在最近的播客中,马斯克表示,Grok 2 仅在大约 15,000 个 GPU 上进行了训练。
--------------------------------------
以下为相关原文:
This weekend, the
team brought our Colossus 100k H100 training cluster online. From start to finish, it was done in 122 days. Colossus is the most powerful AI training system in the world. Moreover, it will double in size to 200k (50k H200s) in a few months. Excellent work by the team, Nvidia and our many partners/suppliers.