fastgpt+oneapi实现大模型整合

目录

OneAPI

使用教程

部署

使用

FastGPT

---

 

OneAPI

市面上有很多大模型，比如OpenAI，谷歌Gemini，智普AI，文心一言等等，各个模型的输入输出都不统一，而且鉴权方式不同，OneAPI就是把这些模型的输入输出和鉴权统一，然后用自己统一的base_url和api_key实现对不同模型的访问。

如上图所示，用户只需要一个入口，和统一的参数访问不同的模型。

使用教程

部署

# 使用 SQLite 的部署命令：
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
# 使用 MySQL 的部署命令，在上面的基础上添加 `-e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"`，请自行修改数据库连接参数，不清楚如何修改请参见下面环境变量一节。
# 例如：
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

使用

登录到one-api后台，账号root，密码默认123456

点击渠道，新增渠道，这里以ChatGLM和本地部署的m3e嵌入模型为例

ChatGLM设置，渠道类型选择智普ChatGLM

m3e设置，渠道类型选择自定义渠道，m3e是本地部署的一个嵌入模型，是之后在fastgpt中使用的，模型在默认列表里面没有，可以自定义，之后在fastgpt中会用到

渠道设置完，还需要设置令牌
点击左侧令牌，新建令牌

可以设置令牌金额，有效期
到此，OneAPI的设置就完成了

FastGPT

部署​​​​​​​

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

在docker-compose.yaml中配置刚才设置好的base_url和api_key

在config.json中配置刚才设置好的模型
聊天模型

向量模型

配置好后启动fastgpt
登录fastgpt，用户名root，密码1234

点击新建

设置一个应用名称和模板

AI模型就选择在config中配置好的模型，这时候就可以愉快的聊天了
知识库的设置
点击右侧知识库，点击新建，选择新建知识库

随便输入一个名称，文件处理模型选设置好的，这里本来应该有向量模型的，但是config.json里面只设置了一个m3e模型，它会默认使用这个，不必再次选择

进入知识库，点击新建/导入，它支持3中导入模式，手动导入，文本数据和表格数据导入

知识库创建成功后，在应用中关联这个知识库

现在就可以提问关于知识库里面的内容了。

引入地址