AI-Gateway是一个快速且小巧的工具，用于在应用程序和大语言模型（LLM）之间提供统一API接口，支持跨模型负载均衡、自动重试和多种SDK。文章详细介绍了其安装、部署方法以及配置选项，如回退策略和负载均衡设置。
关于AI-Gateway
AI-Gateway是一款针对大语言模型的统一API接口，该接口可以用在应用程序和托管的大语言模型（LLM）之间，该工具可以允许我们通过一个统一的API接口将API请求转发给OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等大语言模型。
功能特性
1、功能非常快，体积非常小；
2、跨多模型和提供商实现负载均衡；
3、支持回退以确保应用程序保持弹性；
4、默认配置下，支持自动重试；
5、可根据需要安装中间件；
6、支持多种大语言模型；
支持的SDK
| 编程语言 |
支持的SDK |
| Node.js / JS / TS |
最低0.47元/天 解锁文章
扫一扫
91
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
