大型语言模型中最大的瓶颈：速率限制

生态系统在渴望利用LLM力量的公司的压力下变得紧张。那些希望在人工智能方面开辟新天地的人可能需要等到GPU供应在未来漫长的道路上进一步开放。具有讽刺意味的是，这些限制可能有助于缓和围绕生成性人工智能的一些泡沫炒作，让行业有时间适应积极的模式，高效、经济地使用它。 

速率限制意味着每个人都在等待更好的计算资源或不同的生成人工智能模型。

大型语言模型（LLM），如OpenAI的GPT-4和Anthropic的Claude 2，凭借其生成类人文本的能力，吸引了公众的想象力。企业也同样热情高涨，许多企业正在探索如何利用LLM来改进产品和服务。然而，一个主要瓶颈严重制约了在生产环境中采用最先进的LLM：速率限制。有一些方法可以通过这些费率限制收费站，但如果没有计算资源的改进，真正的进展可能不会到来。

1、为瓶颈付出的代价

允许访问OpenAI和Anthropic等公司模型的公共LLM API对每分钟可处理的令牌（文本单位）数量、每分钟的请求数量和每天的请求数量施加了严格限制。

例如，这句话将消耗九个标记。目前，对OpenAI GPT-4的API调用限制为每分钟三个请求（RPM）、每天200个请求和每分钟最多10000个令牌（TPM）。

最高级别允许10000 RPM和300000 TPM的限制。对于每分钟需要处理数百万个代币的大型生产应用程序，这些速率限制使得使用最先进的LLM