Agent探索之OpenAI方式调用本地模型（one-api）

介绍

https://github.com/songquanpeng/one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

基于 Docker Compose 进行部署

# 目前支持 MySQL 启动，数据存储在 ./data/mysql 文件夹内
docker-compose up -d

# 查看部署状态
docker-compose ps

渠道界面

设置渠道，将xinference BaseURL填入，模型输入自定义名称和xinference中的对应，其他随便填。提交后测试是否成功调用。

令牌界面

模型范围使用刚刚注册的渠道

测试

import os
from openai import OpenAI

os.environ['OPENAI_BASE_URL'] = "http://localhost:3000/v1"
os.environ['OPENAI_API_KEY'] = "sk-xxx"


client = OpenAI(
    # This is the default and can be omitted
    api_key=os.environ.get("OPENAI_API_KEY"),
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Say this is a test",
        }
    ],
    model="qwen2-instruct",
)