初创公司 Etched 宣布推出基于 ASIC 原理的最强大的 AI Sohu芯片 — — 其中 8 个据称将取代 160 个 NVIDIA H100

文章来源：

2024 年 6 月 26 日据 itc.ua英文网站的Andrii Rusanov介绍。

正文

在这里插入图片描述

Etched 是 NVIDIA 在 AI 处理器市场的竞争对手之一。这家初创公司提供了一种不同的创作方法，类似于生产用于采矿的 ASIC——专门从事特定类型的生成 AI，即所谓的变压器。这些芯片不会与其他型号兼容，但与特定型号相比，性能会高出几个数量级。所展示的 Sohu 处理器与 Llama 70B 兼容，每秒可处理 50 万个代币。配备 8 个 Sohu 芯片的服务器可以替代 160 个 NVIDIA H100 处理器。

据 Etched 介绍，Sohu 是首款专门用于 Transformer 模型的芯片。其性能远高于任何现有的通用解决方案，但无法运行 CNN、LSTM、SSM 或任何其他 AI 模型。它采用台积电的 4 纳米工艺制造。

该公司表示，目前市场上所有主要的 AI 产品（ChatGPT、Claude、Gemini、Sora）都是基于 transformer 的，据称几年后，所有主要的 AI 模型都将在专用芯片上运行。Etched 认为这一过程是不可避免的。

据称，Sohu 处理器比新一代 NVIDIA Blackwell 芯片 (B200)快 10 倍以上，而且更便宜。单个 Sohu 服务器处理 Llama 70B 令牌的速度比 H100 服务器 (23,000 令牌/秒) 快 20 倍，比 B200 服务器 (~45,000 令牌/秒) 快 10 倍。结果是在 FP8 中以 8 倍模型并行度（无稀疏性）和 2048 输入/128 输出数据运行时获得的。8xH100 基准测试来自 TensorRT-LLM 0.10.08（最新版本），8xB200 基准测试为估计值。“这是 NVIDIA 和 AMD 使用的相同基准测试”，Etched 表示。

在这里插入图片描述

Etched 批评了 GPU 的通用架构，指出它们并没有变得更好，只是变得更大了。在过去四年中，它们的计算密度（TFLOPS/mm²）仅提高了约 15%。新一代 GPU（NVIDIA B200、AMD MI300X、Intel Gaudi 3、AWS Trainium2 等）使用两个芯片合二为一，使其性能“翻倍”。据这家初创公司称，随着摩尔定律的放缓，提高性能的唯一方法是专业化。‍

专用芯片的商业案例基于其与 AI 训练和运行成本相比相对较低的成本。如今，AI 模型的训练成本超过 10 亿美元，运行成本则高达数百亿美元。按照这个规模，1% 的改进将证明内部芯片设计的成本为 5000 万至 1 亿美元是合理的。ASIC 的速度比 GPU 快 10 到 100 倍。

“当 [专业] 比特币矿工于 2014 年进入市场时，丢弃 GPU 比使用它们来挖掘比特币更便宜。数十亿美元处于危险之中，人工智能也是如此…在硬件上运行速度最快、成本最低的架构将获胜”。

当将模型性能从 10 亿美元扩展到 1000 亿美元时，测试新架构的风险会迅速增加。Etched 认为，应该将精力集中在提高 transformer 的效率上，而不是简单地扩大其规模。

“一旦搜狐（和其他 ASIC）进入市场，我们将陷入无可挽回的境地。Transformers 杀手在 GPU 上的运行速度必须比搜狐上的 Transformers 更快。如果发生这种情况，我们也会为此创建 ASIC！”

Etched 成立仅两年，由哈佛毕业生 Gavin Uberti（OctoML 和 Xnor.ai）和 Chris Chu 创立，他们与 Robert Vahen 和前赛普拉斯半导体公司首席技术官 Mark Ross 一起，致力于创建一种可以做一件事的芯片：运行 AI 模型。

这并不奇怪。许多初创公司和科技巨头都在开发专门用于 AI 模型的芯片，也称为推理芯片。Meta 有 MTIA，亚马逊有 Graviton 和 Inferentia 等。但 Etched 芯片的独特之处在于它们只适用于一种类型的模型：Transformers。

“我们曾预测，2022 年，变形金刚将统治世界。如今，人工智能的发展已经到达了一个节点，性能优于通用 GPU 的专用芯片是不可避免的——世界科技决策者都知道这一点”，Etched 首席执行官 Uberti 说道。

搜狐是如何实现所展示的性能的？有多种方式，但最明显的是简化的硬件和软件管道。由于搜狐不适用于非变压器模型，因此 Etched 团队可以消除与其不相关的硬件组件，软件也是如此。

“简而言之，我们未来的客户将无法承受不转向搜狐的代价。公司愿意押注 Etched，因为速度和成本对于他们试图构建的 AI 产品至关重要”，Uberti 说道。

到目前为止，Etched 还没有竞争对手走得这么远，但竞争已经开始。如果出现更高效的技术或其他人工智能模式成为潮流，该公司表示，它将开发一款新芯片。

资料来源：Etched、TechCrunch