美国玩大模型那帮人：好几万卡集群+超级节点

（一）AI芯片挑战者入场？

尽管A100已经是英伟达上几代的老产品了。

而在国内知名互联网公司内部，

很多人仍然排队等用。

最近，谭老师我有个经历，

某个大模型训练论坛刚结束，想到前排加演讲嘉宾微信。

这时候，不知道是因为走得太慢，还是过道太窄，

突然背后被人推了一把，那人抢先我一步与嘉宾交流。

好家伙，这人是对科技，抱有多大的热情呢？

仔细一听，嚯，推销GPU集群业务。

当下，GPU的确是“黄金商机”，

是该拿出如火的热情，谁挡道就把谁推开。

AI芯片的头号玩家当然是英伟达。

好消息是，伴随着老牌芯片厂商依次入场，变化的曙光似乎来了。

2023年12月，AMD拿出自家AI芯片MI300X 。

AMD硬件相当强大，被视为英伟达最有利的挑战者，

虽然，AMD在软件定制化优化方面还有很长的路要走。

2024年4月10日，英特尔入场了，

带来了AI芯片Gaudi 3。

你说突然袭击也好，正常出牌也罢。

两个重量级路标事件出现了。

这意味着：以前是其他厂商都不行，完全上不了牌桌。

现在是，挑战者完成了从0到1的过程，难能可贵。

略显遗憾的是，国产芯片厂商势单力薄。

不要灰心，仍有希望。

时光没有穿梭机，

英伟达上几代产品 A100 在设计之时，

也不可能考虑到大语言模型的种种需求。

这一代的需求，这一代应对。

（二）英伟达超级节点：一直往上堆

一位在美国大会上亲眼看到超级节点

GB200 NVL72

的读者告诉我，

他深受震撼。

这个大家伙可以说是近期最让部分硬件爱好者尖叫的产品了。

对于英伟达的玩法，我的总结是：

不要Scale out，而要Scale up。

这个押头韵的句子，很洋（装）气（B）。

于是，配上谭老师我的土味翻译：

不要往外堆（Scale out）

而是往上堆（Scale up）