专为AI而设计的LPU

Groq是一家由多位前Google TPU开发者创立的人工智能芯片初创公司。他们的目标是为AI和高性能计算工作负载提供低延迟和高性能的解决方案。

Groq创建了名为Language Processing Units (LPUs) 的AI芯片，声称其速度超过了NVIDIA的Graphics Processing Units (GPUs)。虽然NVIDIA的GPU通常被视为运行AI模型的行业标准，但早期结果显示，LPUs可能会让它们望尘莫及.

以下是Groq的LRU相对于NVIDIA的GPU芯片的一些优势：

1. 推理速度：Groq的LPU在处理请求和响应时比NVIDIA的GPU更快。与NVIDIA的GPU依赖高速数据传输不同，Groq的LPU在其系统中不使用高带宽内存（HBM），而是使用速度约为GPU所用内存的20倍的SRAM。
2. 架构设计：Groq的LPU采用了全新的**Tensor Streaming Processor (TSP)**架构，专注于加速人工智能、机器学习和复杂工作负载。这种架构的设计使其在推理任务上表现出色。
3. 性能表现：根据LLMPerf Leaderboard，Groq的LPU在配置从7到70亿参数的情况下，超越了基于GPU的云服务提供商，无论是在**token吞吐量（输出）还是首个token的响应时间（延迟）**方面，Groq都处于领先地位。

总之，Groq的创新设计和高性能使其成为AI芯片领域备受关注的公司，直接威胁着NVIDIA等厂商的推理硬件.