如何快速部署大模型接口管理和分发系统:One-API

目前业界内有很多的大模型服务,比如OpenAI’s ChatGPT、Google’s PaLM2/Gemini、百度的文心一言等多个平台的大模型,如果要接入大模型的话,需要针对每个特定的AI平台独立编写和维护代码。当需要集成多个大模型时,工作成本就高了,这个时候如果能通过统一的接口访问不同的大模型服务,可以极大地简化工作流程和提高效率,One API 就是这样一个工具。

什么是One API?

One API 是一个开源的OpenAI接口管理与分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用。

One API 的使用场景是什么?

  • 多模型集成项目:当你的项目需要集成多个大模型,而这些模型分布在不同的AI平台时,One API可以作为统一的接口,简化你的集成工作。

  • 开发代理服务:如果你需要构建一个自己的AI服务,而后端需要调用不同的AI模型,One API可以作为后端服务,你只需要与One API交互,而不需要处理与各个AI平台的具体交互细节。

  • 教育和研究:在AI的学习和研究中,经常需要对比不同模型的表现。One API可以简化这一流程,使研究者可以轻松切换不同的模型进行对比分析。

  • 小型企业或个人项目:对于资源有限的小型企业或个人开发者,可能没有足够的时间和精力去适配和管理多个AI平台的API。One API提供了一个简单便捷的解决方案。

  • 在敏捷开发中快速原型制作:当你需要快速验证一个涉及AI模型的想法时,One API可以帮助你省去了配置和接入多个AI服务的时间,让你更专注于原型的开发。

    One API在处理需要访问多个AI模型的项目时尤为有用,它通过提供统一的接口来简化开发流程,节省时间和资源。不论是在开发复杂的综合AI服务、进行AI模型对比研究,还是简单地快速验证AI相关的项目想法,One API都能提供强大的支持。

如何使用One API?

One API 可以用来管理模型池,其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。

  1. 使用root 账号登录,默认密码:123456
  2. 在渠道页面中添加新的渠道
    file
  3. 然后在令牌页面中新增访问令牌
    file
  4. 客户端使用令牌访问 One API。
  5. 根据请求中的 model 参数,匹配对应的渠道(根据渠道里的模型进行匹配,必须完全一致)。如果匹配到多个渠道,则随机选择一个(同优先级)
  6. One API 向真正的地址发出请求,并将结果返回给客户端

如何在阿里云上快速部署One API

阿里云计算巢提供了快速部署的One API的解决方案,只需要简单填写配置就可以一键部署到自己的VPC 内,非常简单快捷,操作步骤如下:

  1. 单击部署链接,进入计算巢的服务实例部署界面。
  2. 根据界面提示,填写参数完成部署。
    file
    选择实例规格,并设置实例密码
    file
    设置可用区和VPC信息
    file
  3. 设置完参数后,点击下一步确认订单,点击立即创建,等待服务实例创建完成。
  4. 服务实例创建成功后,进入服务实例详情页。在概览页可获取one-api登录信息。
    使用初始账号登录,用户名为 root,密码为 123456。
    file
    参考文档:
    https://docs.geekai.me/config/chat/one-api.html#geekai-%E9%85%8D%E7%BD%AE
    https://aibard123.com/newtutorial/2024/02/one-api/

查看更多计算巢服务 (https://computenest.aliyun.com)

本文由博客一文多发平台 OpenWrite 发布!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值