一键接入大模型:One-Api本地安装配置实操

目录

前言

什么是 One-Api?

本地 Docker Destop 安装 One-Api

使用 SQLite 的部署命令:

one-api 配置界面

配置渠道

测试

最后


前言

最近准备学习一下 Semantic KernelOpenAI 的 Api 申请麻烦,所以想通过 One-api 对接一下国内的在线大模型,先熟悉一下 Semantic Kernel 的基本用法,本篇文章重点记录一下OneApi安装配置的过程。

讯飞星火有 3.5 模型的 200w 个人免费 token,可以拿来学习。

讯飞星火申请链接[1]

什么是 One-Api?

通过标准的 OpenAI API 格式访问所有的大模型

图片

支持多种大模型:

  • OpenAI ChatGPT 系列模型(支持 Azure OpenAI API)

  • Anthropic Claude 系列模型 (支持 AWS Claude)

  • Google PaLM2/Gemini 系列模型

  • Mistral 系列模型

  • 百度文心一言系列模型

  • 阿里通义千问系列模型

  • 讯飞星火认知大模型

  • 智谱 ChatGLM 系列模型

  • 360 智脑

  • 腾讯混元大模型

  • Moonshot AI

  • 百川大模型

  • 字节云雀大模型 (WIP)

  • MINIMAX

  • Groq

  • Ollama

  • 零一万物

  • 阶跃星辰

  • Coze

  • Cohere

  • DeepSeek

  • Cloudflare Workers AI

  • DeepL

one-api github repo[2]

本地 Docker Destop 安装 One-Api

  • 先拉取 one-api 镜像

docker pull justsong/one-api

使用 SQLite 的部署命令:

  • 启动容器 默认宿主机端口为 3000

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v C:/LLM/OneApi-V-Data:/data justsong/one-api

因为我的宿主机是 Windows 的操作系统所以数据卷映射的宿主机盘需要注意是带 Windows 盘符

图片

one-api 配置界面

浏览器打开http://localhost:3000/

  • 默认 root 账号
    one-api 提供了开箱即用的功能,有一个默认的root账号,密码是123456

图片

第一次登录后需要修改密码。

配置渠道

  • 配置讯飞星火 3.5 模型!

图片
  • 查看渠道列表

图片

密钥这个地方需要注意格式:APPID|APISecret|APIKey

  • 申请令牌

图片

图片

拿到密钥就可以在我们项目中以 OpenAI 格式去请求我们的大模型接口

测试

  • 在接口测试工具先看一下效果

地址

http://localhost:3000/v1/chat/completions

请求头

Authorization:Bearer {OneApiToken}
  • 接口管理工具查看效果

图片

接口入参

{
  "model": "SparkDesk-v3.5",
  "messages": [
    {
      "role": "user",
      "content": "给我讲个笑话吧。"
    }
  ],
  "temperature": 0.7
}

接口回参

{
  "id": "chatcmpl-04025f1484c54770a8d854de360fd06e",
  "object": "chat.completion",
  "created": 1715000959,
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "当然可以,这是一个我最近听到的笑话:\n\n有一天,一只猫走进了一个酒吧,然后走到吧台前坐下,对酒保说:“我要一杯牛奶。”\n\n酒保惊讶地看着猫,然后说:“你是我见过的第一只会说话的猫。”\n\n猫看着酒保,回答说:“考虑到你的服务速度,我也没什么好惊讶的。”"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 6,
    "completion_tokens": 75,
    "total_tokens": 81
  }
}

最后

到现在为止我们的 One-Api 对接讯飞星火已经成功了,后面就可以愉快的进入 Semantic Kernel 入门学习的教程啦,社区内也有大佬提供了星火大模型的 SDK(Sdcb.SparkDesk)通过SK的 CustomLLM 实现ITextGenerationService等接口也可以愉快的使用SK当然这也是我们后面要学习的内容。

参考文献

实战教学:用 Semantic Kernel 框架集成腾讯混元大模型应用[3]

参考资料

[1] 讯飞星火申请链接: https://xinghuo.xfyun.cn

[2] one-api github repo: https://github.com/songquanpeng/one-api

[3] 

实战教学:用 Semantic Kernel 框架集成腾讯混元大模型应用: https://cloud.tencent.com/developer/article/2384070

引入地址

要将Kafka-eagle与Docker一键安装的Kafka集成,您可以按照以下步骤进行操作: 1. 首先,确保您已经成功安装了Docker和Docker Compose。 2. 在您的项目目录下创建一个`docker-compose.yml`文件,并添加以下内容: ```yaml version: '3' services: kafka: image: wurstmeister/kafka ports: - 9092:9092 environment: - KAFKA_ADVERTISED_HOST_NAME=kafka - KAFKA_CREATE_TOPICS=test-topic:1:1 volumes: - /var/run/docker.sock:/var/run/docker.sock zookeeper: image: wurstmeister/zookeeper ports: - 2181:2181 ``` 这将创建一个包含Kafka和Zookeeper的Docker Compose服务。 3. 在命令行中,导航到包含`docker-compose.yml`文件的目录,并运行以下命令启动Kafka和Zookeeper容器: ``` docker-compose up -d ``` 4. 接下来,您需要下载Kafka-eagle的Docker镜像。您可以在GitHub上找到官方文档以获取适用于您的版本的下载链接。 5. 下载完成后,您可以使用以下命令启动Kafka-eagle容器: ``` docker run -d --name kafka-eagle -p 8048:8048 \ -e "KAFKA_EAGLE_HOME=/kafka-eagle" \ -e "ZK_HOSTS=zookeeper:2181" \ -e "KAFKA_EAGLE_CLUSTER_NAME=MyCluster" \ -e "KAFKA_EAGLE_ZK_CLUSTER_ALIAS=zk" \ -e "KAFKA_EAGLE_MAIL_ENABLED=false" \ --link zookeeper:zk \ --link kafka:kafka \ --restart=always \ smartloli/kafka-eagle ``` 在上述命令中,您需要根据实际情况设置环境变量,例如`ZK_HOSTS`、`KAFKA_EAGLE_CLUSTER_NAME`和`KAFKA_EAGLE_ZK_CLUSTER_ALIAS`等。 6. 启动完成后,您可以通过访问`http://localhost:8048`来访问Kafka-eagle的Web界面。 请注意,这只是一个简单的示例,您可能需要根据自己的环境和需求进行适当的配置和调整。此外,确保您已经正确配置了Kafka和Zookeeper的相关参数以确保集成的顺利进行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值