LiteLLM/One-Api 统一各种大模型接口通过OpenAi格式访问

星哥来了

已于 2025-04-10 10:49:38 修改

阅读量2.6k

点赞数 4

文章标签： ai

于 2024-09-19 11:06:38 首次发布

本文链接：https://blog.csdn.net/u013220851/article/details/142354275

版权

1、背景

在我们调用其他大模型如Ollama，Gemini，OpenAi，Qwen等等，他们返回的格式都不太一样，这样每次接入这些接口相对都比较麻烦进行格式调整，LiteLLM统一了这些Api调用方式，通过配置，对应厂商的Api接口，都可以通过OpenAi接口的格式进行调用。

2、安装LiteLLM

GitHub - BerriAI/litellm: Python SDK, Proxy Server to call 100+ LLM APIs using the OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq]

项目可以直接提供了docker-compose一键部署

2、完成部署

打开链接http://localhost:4000/ui/?userID=admin

密码是环境变量设置的key账号是admin，进入页面添加一个开源的模型或者是其他厂商提供的模型

我这里添加了qwen2:72b

3、调用接口

直接调用标准的OpenAi接口就可以调用qwen2大模型了，模型的名称要跟你命名模型一致

curl -X POST "http://localhost:4000/v1/chat/completions" \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer sk-1234" \
     -d '{
       "model": "qwen2:72b",
       "messages": [{"role": "user", "content": "你好,请介绍一下自己"}]
     }'

点击模型库也提供了具体的调用方式，可以说是非常方便调用以及使用

4、One-Api

这个开源项目是国内人开发的，可以整合国内的大模型。功能跟LiteLLM是类似的

GitHub - songquanpeng/one-api: OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

可以通过docker一键安装

# 使用 SQLite 的部署命令：
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
# 使用 MySQL 的部署命令，在上面的基础上添加 `-e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"`，请自行修改数据库连接参数，不清楚如何修改请参见下面环境变量一节。
# 例如：
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

docker run --name new-api -d --restart always -p 13022:3000 -v /data01/llm/one-api/data:/data -e TZ=Asia/Shanghai -e RELAY_PROXY=http://10.11.0.166:18080 one-api:latest

5、配置模型

打开页面后点击渠道添加模型

设置令牌就可以通过接口访问了

6、接口访问

接下来就可以把令牌复制下来设置好模型就可以通过接口访问了

curl -X POST "http://10.10.40.102:13000/v1/chat/completions" \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer sk-8ztvXnUrPRucaOyiEe2c7dB4Cb6d40E0834c2d3f51207c6d" \
     -d '{
       "model": "deepseek-chat",
       "messages": [{"role": "user", "content": "你是谁"}]
     }'

7、new-api功能相同

查看官方部署方式页面，相比于one-api页面更加美观。功能也更加丰富