来自28亿美元估值的超级独角兽Groq的AI芯片，让LLM推理快到飞起

公司简介

成立于2016年，以快著称的美国人工智能芯片独角兽Groq，2024年8月5日官宣融资6.4亿美元（截止到当前最新一轮融资）。

Groq的语言处理单元（LPU, Language Processing Unit）专为AI推理和语言处理而设计，是应时而生、实现AI超快推理的核心技术。

到底有多快？

相较于英伟达GPU提高十倍，且和其他加速推理平台相比也是遥遥领先。

如何体验？

两种最直接的方式。

一、直接访问官网

进入 官网 首页，选择模型进行问答。

比如选择 Llama-3.3-70b-Specdec 该模型，提问 What is AI inference，回答速度可以高达 1.6k tokens/s。

二、groqcloud

进入 groqcloud，右上角下拉框选择模型，右侧还可以对temperature以及Top P等超参进行调整。

选择模型后提问，LLM推理结束后会有 Speed Insights 信息显示，可以看到衡量推理效率的各项指标在本次问答中的数值结果。

推荐阅读

[1] 向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU

[2] 揭开Groq LPU神秘面纱：世界最快硬件加速器的底层架构设计