OneAPI
市面上有很多大模型,比如OpenAI,谷歌Gemini,智普AI,文心一言等等,各个模型的输入输出都不统一,而且鉴权方式不同,OneAPI就是把这些模型的输入输出和鉴权统一,然后用自己统一的base_url和api_key实现对不同模型的访问。
如上图所示,用户只需要一个入口,和统一的参数访问不同的模型。
使用教程
部署
# 使用 SQLite 的部署命令:
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
# 使用 MySQL 的部署命令,在上面的基础上添加 `-e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"`,请自行修改数据库连接参数,不清楚如何修改请参见下面环境变量一节。
# 例如:
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
使用
登录到one-api后台,账号root,密码默认123456
点击渠道,新增渠道,这里以ChatGLM和本地部署的m3e嵌入模型为例
ChatGLM设置,渠道类型选择智普ChatGLM
m3e设置,渠道类型选择自定义渠道,m3e是本地部署的一个嵌入模型,是之后在fastgpt中使用的,模型在默认列表里面没有,可以自定义,之后在fastgpt中会用到
渠道设置完,还需要设置令牌
点击左侧令牌,新建令牌
可以设置令牌金额,有效期
到此,OneAPI的设置就完成了
FastGPT
部署
mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
在docker-compose.yaml中配置刚才设置好的base_url和api_key
在config.json中配置刚才设置好的模型
聊天模型
向量模型
配置好后启动fastgpt
登录fastgpt,用户名root,密码1234
点击新建
设置一个应用名称和模板
AI模型就选择在config中配置好的模型,这时候就可以愉快的聊天了
知识库的设置
点击右侧知识库,点击新建,选择新建知识库
随便输入一个名称,文件处理模型选设置好的,这里本来应该有向量模型的,但是config.json里面只设置了一个m3e模型,它会默认使用这个,不必再次选择
进入知识库,点击新建/导入,它支持3中导入模式,手动导入,文本数据和表格数据导入
知识库创建成功后,在应用中关联这个知识库
现在就可以提问关于知识库里面的内容了。