马斯克预言：下一代Grok 3模型将需10万Nvidia H100 GPU进行训练｜TodayAI

特斯拉首席执行官兼xAI创始人埃隆·马斯克对人工通用智能（AGI）的发展做出了一些大胆的预测，并讨论了AI行业面临的挑战。他预测，AGI可能在明年或2026年之前超越人类智能，但训练AGI将需要极大数量的处理器，进而需要大量电力，GPU短缺和电力需求成为AI发展的两大障碍。

马斯克的公司xAI目前正在训练其Grok大型语言模型的第二版，并预计将在5月完成下一阶段的训练。Grok版本2模型的训练需求高达2万Nvidia H100 GPU，马斯克预计未来版本将需要更多资源，Grok 3模型大约需要10万Nvidia H100芯片进行训练。

马斯克表示，AI技术的发展目前受到两个主要因素的阻碍：先进处理器（如Nvidia的H100）的供应短缺——因为不容易快速获得10万个这样的芯片——以及电力的可用性。

Nvidia的H100 GPU在全负荷运行时耗电约700W，因此10万个GPU用于AI和HPC工作负载可能会消耗高达70兆瓦的电力。由于这些GPU需要服务器和冷却系统才能运行，可以肯定的是，拥有10万个Nvidia H100处理器的数据中心将消耗约100兆瓦的电力。这相当于一个小城市的电力消耗。

马斯克强调，尽管迄今为止计算GPU供应一直是一个重大障碍，但在未来一两年内，电力供应将变得越来越关键。这一双重限制凸显了扩展AI技术以满足不断增长的计算需求的挑战。

尽管存在挑战，计算和内存架构的进步将使得在未来几年内训练日益庞大的大型语言模型（LLM）成为可能。Nvidia在2024年GTC上揭示了其Blackwell B200，这是一个旨在扩展至拥有数万亿参数的LLM的GPU架构和平台。这将在AGI的发展中发挥关键作用。

事实上，马斯克认为，在未来一两年内，将出现一种比最聪明的人还要聪明的人工智能。“如果你将AGI定义为比最聪明的人还要聪明，我认为可能是明年，最多两年内，”马斯克在X Spaces的一次采访中说。这意味着，看来是时候再次观看《终结者》了，并希望我们未来的AGI统治者会比天网更加友好。