【笔记】OpenAI API速率限制Rate limits介绍

OpenAI API速率限制是指用户或客户端调用OpenAI API时在指定时间内的调用次数限制，今天就帮大家整理下OpenAIAPI为什么要设置速率限制，以及不同账户（免费帐户、付费账户）的速率限制分别是多少。

一、OpenAI API为什么要有速率限制

速率限制是API的常见做法，设置这个限制的原因一般有以下几点：

1. 有助于防止API的滥用或误用。例如，恶意行为者可能会向API发送大量请求，试图使其超载或造成服务中断，通过设置速率限制，可以防止此类活动。
2. 有助于确保每个人都能公平地访问API。如果某个人或组织发出过多的请求，可能会使其他所有人访问API的速度变慢。通过限制单个用户可以发出的请求数量，可以确保更多人有机会使用API而不经历减速。
3. 可以帮助OpenAI管理其基础设施上的总负载。如果对API的请求急剧增加，可能会给服务器带来压力并导致性能问题。通过设置速率限制，可以帮助维持所有用户的平稳且一致的体验。

ChatGPT Plus使用指南

二、OpenAI API速率限制是怎么工作的

目前，OpenAI API速率限制通过五种方式衡量：RPM（每分钟请求次数）、RPD（每天请求次数）、TPM（每分钟令牌数）、TPD（每天令牌数）和IPM（每分钟图像数）。根据首先发生的情况，可能会触及任何选项的限制。例如，你可能向ChatCompletions端点发送了20个请求，只用了100个令牌，这将填满你的限制（如果你的RPM是20），即使在这20个请求中你没有发送150k令牌（如果你的TPM限制是150k）。

其他值得注意的重要事项：

1. 速率限制是在组织级别而不是用户级别施加的。
2. 速率限制根据所使用的模型而有所不同。
3. 组织每月可以在API上花费的总金额也有限制。

三、不同账户的OpenAI API速率限制是什么

OpenAI对于不同用户设有不同的API速率限制，免费用户限制最严重，花的越多，限制越宽松，随着在OpenAI API上的花费增加，OpenAI将自动将账户提升到下一个使用层次，这会增加大多数模型的速率限制。

目前，OpenAI API一共有6个用户层级，免费的一种（Free），付费的五种（Tier 1 – Tier 5），每种层级（TIER）的要求和金额限制（USAGE LIMITS）如下：

层级	要求	金额限制
Free	用户必须在允许的国家调用（OpenAI支持的国家）	$100 / month
Tier 1	支付了5美元	$100 / month
Tier 2	支付了50美元并且自首次成功支付后已超过7天	$500 / month
Tier 3	支付了100美元并且自首次成功支付后已超过7天	$1,000 / month
Tier 4	支付了250美元并且自首次成功支付后已超过14天	$5,000 / month
Tier 5	支付了1000美元并且自首次成功支付后已超过30天	$10,000 / month

这里整理了OpenAI不同用户层级的速率限制，对于这些限制有每个模型的例外情况（例如，一些旧模型或具有更大上下文窗口的模型有不同的速率限制）。要查看您账户每个模型的确切速率限制，请访问账户设置的限制部分。

OpenAI Free账户速率限制：

MODEL	RPM	RPD	TPM
gpt-3.5-turbo	3	200	40,000
text-embedding-3-small	3	200	150,000
whisper-1	3	200	–
tts-1	3	200	–
dall-e-2	5 img/min	–	–
dall-e-3	1 img/min	–	–

OpenAI Tier 1账户速率限制：

MODEL	RPM	RPD	TPM
gpt-4	500	10,000	10,000
gpt-4-turbo-preview	500	–	300,000
gpt-4-vision-preview	80	500	10,000
gpt-3.5-turbo	3,500	10,000	60,000
text-embedding-3-large	500	10,000	1,000,000
whisper-1	50	–	–
tts-1	50	–	–
tts-1-hd	3	–	–
dall-e-2	5 img/min	–	–
dall-e-3	5 img/min	–	–

OpenAI Tier 2账户速率限制：

MODEL	RPM	RPD	TPM
gpt-4	5,000	–	40,000
gpt-4-turbo-preview	5,000	–	450,000
gpt-4-vision-preview	100	1,000	20,000
gpt-3.5-turbo	3,500	–	80,000
text-embedding-3-large	500	–	1,000,000
whisper-1	50	–	–
tts-1	50	–	–
tts-1-hd	5	–	–
dall-e-2	50 img/min	–	–
dall-e-3	7 img/min	–	–

OpenAI Tier 3账户速率限制：

MODEL	RPM	RPD	TPM
gpt-4	5,000	–	80,000
gpt-4-turbo-preview	5,000	–	600,000
gpt-4-vision-preview	120	1,500	40,000
gpt-3.5-turbo	3,500	–	160,000
text-embedding-3-large	5,000	–	5,000,000
whisper-1	100	–	–
tts-1	100	–	–
tts-1-hd	7	–	–
dall-e-2	100 img/min	–	–
dall-e-3	7 img/min	–	–

OpenAI Tier 4账户速率限制：

MODEL	RPM	RPD	TPM
gpt-4	10,000	–	300,000
gpt-4-turbo-preview	10,000	–	800,000
gpt-4-vision-preview	300	2,000	150,000
gpt-3.5-turbo	10,000	–	1,000,000
text-embedding-3-large	10,000	–	5,000,000
whisper-1	100	–	–
tts-1	100	–	–
tts-1-hd	10	–	–
dall-e-2	100 img/min	–	–
dall-e-3	15 img/min	–	–

OpenAI Tier 5账户速率限制：

MODEL	RPM	TPM
gpt-4	10,000	300,000
gpt-4-turbo-preview	10,000	1,500,000
gpt-4-vision-preview	3000	300,000
gpt-3.5-turbo	10,000	2,000,000
text-embedding-3-large	10,000	10,000,000
whisper-1	500	–
tts-1	500	–
tts-1-hd	20	–
dall-e-2	500 img/min	–
dall-e-3	50 img/min	–

以上就是OpenAI API速率限制Rate limits介绍，如果你需要从OpenAI免费账户升级成高级账户，却又没有国外卡，可以参考这：ChatGPT Plus使用指南