第三十一篇-Ollama+OneAPI基本集成配置

本文介绍使用oneapi+ollama实现openai接口实现

环境要求

Docker version 26.1.3
具体安装熟悉的，百度

安装oneapi

mkdir /home/oneapi/data
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/oneapi/data:/data justsong/one-api

登录oneapi

http://192.168.31.111:3000
默认密码 root 123456
需要自己改新密码

启动ollama

本次使用本地ollama
ollama run qwen:0.5b-chat-v1.5-q4_1 启动ollama
验证
    http://192.168.31.161:11434
    Ollama is running

配置oneapi渠道

渠道-->添加新的渠道
    类型  Ollama
    名称  自己填写
    分组 随意
    模型  点击输入自定义模型名称 --> 填入
        我输入的是qwen:0.5b-chat-v1.5-q4_1
    秘钥  111111随意
    代理
        http://192.168.31.161:11434

配置oneapi渠道-测试

点击渠道
    选择相应渠道的【测试】
    右上角显示 渠道xx测试成功

配置oneapi令牌

点击令牌
    输入一个名字点击提交

测试openai

import openai

# 设置您的 API 密钥
openai.api_key = "sk-PpZaxFu0pyOsvgQP8eE7073c5a014aD8858eE80c941aD129"

# 设置自定义的 API 请求地址
openai.api_base = "http://192.168.31.111:3000/v1"

# 设置对话的 prompt
messages = [
    {"role": "system", "content": ""},
    {"role": "user", "content": "1+1=？"}
]
# 使用 OpenAI API 进行聊天
response = openai.ChatCompletion.create(
    model="qwen:0.5b-chat-v1.5-q4_1",
    messages=messages,
    max_tokens=100,
    n=1,
    stop=None,
    temperature=0.5,
)

# 输出回复
assistant_message = response.choices[0].message
print(assistant_message.content)

openai.api_key 是点击自己创建令牌的复制按钮

完成

到目前为值，一个openai接口协议的接口完成了配置，后端是自己的ollama