AI大模型对话速率限制

聊到速率限制，你在很多模型API文档中都能看到，比如并发、RPM（每分钟请求数）、TPM（每分钟 Token 数）、TPD（每天 Token 数）
RPM（每分钟请求数）、RPD（每天请求数）、TPM（每分钟令牌数）、TPD（每天令牌数）和 IPM（每分钟图像数）。

这是平台为了保护自身服务可用性、为不同级别的用户提供不同层级服务的一个限定，也是开发过程中必须要考虑的一个因素。

通常的做法，平台为提供一个Key来做为身份验证的必要条件。有些平台的速率限制为放到Key级别，但有些是放到用户级别。

通过不同的充值等级来决定速率的限制，比如划分几个层次，每个层次里的速率限制都在逐级提高，充的多用的才更好。

某些平台可以通过Key的形式，来提供并发量或RPM等等，比如Azure OpenAI就可以通过这种方式完成。月之暗面是限定在用户级别，而非Key级别，想在月之暗面提升并发量等限制，只能通过充值的方式来完成。


有些平台提供了提升并发的通道，需要特殊申请，比如千问。还可以通过多开通账户的形式来提高并发，通过轮询账户的方式来提高并发。