FastGPT模型管理
FastGPT只支持openai 格式的restful 的api接口。 就是 chat/completion那个接口。如果不理解可以参考这个文章 https://zhuanlan.zhihu.com/p/656959227 。 支持Python 。JAVA 等后端语言或者 http 访问
因此如果想访问大模型,有以下几种方案;
1、openai gpt:翻墙并注册ChatGPT账号,并创建API key (以前有免费5美刀额度,现在不知道有没有了)
2、openai gpt 套壳:用国内的代理服务,一般要收费,比如New API 随充随用, 创建令牌(token)就行了, 然后填写openai base url 和token (sk开头的)
3、本地模型转openai 格式:用vllm ,transformer , swift ,ollama等方式启动一个本地模型, 也可以变成一个openai的服务。然后进行访问
4、国产大模型api兼容openai格式:注册kimi,kimi完全兼容openai格式。代码如下
from openai import OpenAI
# 注册kimi账号 ,并且充值api调用额度
#https://platform.moonshot.cn/console/api-keys
url = "https://api.moonshot.cn/v1"
MOONSHOT_API_KEY = 'sk-xxxx自己去注册'#os.getenv("MOONSHOT_API_KEY")
client = OpenAI(
api_key= MOONSHOT_API_KEY,
base_url=url,
)
completion = client.chat.completions.create(
model="moonshot-v1-8k",
messages=[
{"role": "system", "content": "你是 Kimi,由 Moonshot AI 提供的人工智能助手,你更擅长中文和英文的对话。你会为用户提供安全,有帮助,准确的回答。同时,你会拒绝一切涉及恐怖主义,种族歧视,黄色暴力等问题的回答。Moonshot AI 为专有名词,不可翻译成其他语言。"},
{"role": "user", "content": "你是谁"}
],
temperature=0.3,
)
print(completion.choices[0].message.content)
FastGPT部署脚本
# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码,记得改数据库和项目连接参数,别只改一处~
# 该配置文件只是给快速启动,测试使用。正式使用,记得务必修改账号密码,以及调整合适的知识库参数,共享内存等。
# 如何无法访问 dockerhub 和 git,可以用阿里云(阿里云没有arm包)
version: '3.3'
services:
# db
pg:
# image: pgvector/pgvector:0.7.0-pg15 # docker hub
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
container_name: pg
restart: always
ports: # 生产环境建议不要暴露
- 5432:5432
networks:
- fastgpt
environment:
# 这里的配置只有首次运行生效。修改后,重启镜像是不会生效的。需要把持久化数据删除再重启,才有效果
- POSTGRES_USER=username
- POSTGRES_PASSWORD=password
- POSTGRES_DB=postgres
volumes:
- ./pg/data:/var/lib/postgresql/data
mongo:
# image: mongo:5.0.18 # dockerhub
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
# image: mongo:4.4.29 # cpu不支持AVX时候使用
container_name: mongo
restart: always
ports:
- 27017:27017
networks:
- fastgpt
command: mongod --keyFile /data/mongodb.key --replSet rs0
environment:
- MONGO_INITDB_ROOT_USERNAME=myusername
- MONGO_INITDB_ROOT_PASSWORD=mypassword
volumes:
- ./mongo/data:/data/db
entrypoint:
- bash
- -c
- |
openssl rand -base64 128 > /data/mongodb.key
chmod 400 /data/mongodb.key
chown 999:999 /data/mongodb.key
echo 'const isInited = rs.status().ok === 1
if(!isInited){
rs.initiate({
_id: "rs0",
members: [
{ _id: 0, host: "mongo:27017" }
]
})
}' > /data/initReplicaSet.js
# 启动MongoDB服务
exec docker-entrypoint.sh "$$@" &
# 等待MongoDB服务启动
until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
echo "Waiting for MongoDB to start..."
sleep 2
done
# 执行初始化副本集的脚本
mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js
# 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
wait $$!
# fastgpt
sandbox:
container_name: sandbox
# image: ghcr.io/labring/fastgpt-sandbox:v4.8.4 # git
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.4 # 阿里云
networks:
- fastgpt
restart: always
fastgpt:
container_name: fastgpt
# image: ghcr.io/labring/fastgpt:v4.8.4 # git
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.4 # 阿里云
ports:
- 3000:3000
networks:
- fastgpt
depends_on:
- mongo
- pg
- sandbox
restart: always
environment:
# root 密码,用户名为: root。如果需要修改 root 密码,直接修改这个环境变量,并重启即可。
- DEFAULT_ROOT_PSW=1234
# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
- OPENAI_BASE_URL=https://key.wenwen-ai.com/v1
# AI模型的API Key。(这里默认填写了OneAPI的快速默认key,测试通后,务必及时修改)
- CHAT_API_KEY=sk-rqcfk0jpAxF0f962a768aF2456c9252De0f6a1e6cF0
# 数据库最大连接数
- DB_MAX_LINK=30
# 登录凭证密钥
- TOKEN_KEY=any
# root的密钥,常用于升级时候的初始化请求
- ROOT_KEY=root_key
# 文件阅读加密
- FILE_TOKEN_KEY=filetoken
# MongoDB 连接参数. 用户名myusername,密码mypassword。
- MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
# pg 连接参数
- PG_URL=postgresql://username:password@pg:5432/postgres
# sandbox 地址
- SANDBOX_URL=http://sandbox:3000
# 日志等级: debug, info, warn, error
- LOG_LEVEL=info
volumes:
- ./config.json:/app/data/config.json
# oneapi
mysql:
image: m.daocloud.io/docker.io/deepflowce/mysql:8.0.31
container_name: mysql
restart: always
ports:
- 3306:3306
networks:
- fastgpt
command: --default-authentication-plugin=mysql_native_password
environment:
# 默认root密码,仅首次运行有效
MYSQL_ROOT_PASSWORD: oneapimmysql
MYSQL_DATABASE: oneapi
volumes:
- ./mysql:/var/lib/mysql
oneapi:
container_name: oneapi
image: ghcr.io/songquanpeng/one-api:latest
ports:
- 3001:3000
depends_on:
- mysql
networks:
- fastgpt
restart: always
environment:
# mysql 连接参数
- SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
# 登录凭证加密密钥
- SESSION_SECRET=oneapikey
# 内存缓存
- MEMORY_CACHE_ENABLED=true
# 启动聚合更新,减少数据交互频率
- BATCH_UPDATE_ENABLED=true
# 聚合更新时长
- BATCH_UPDATE_INTERVAL=10
# 初始化的 root 密钥(建议部署完后更改,否则容易泄露)
- INITIAL_ROOT_TOKEN=fastgpt
volumes:
- ./oneapi:/data
networks:
fastgpt:
# AI模型的API地址哦。务必加 /v1。我已经改成wenwen的地址
- OPENAI_BASE_URL=https://key.wenwen-ai.com/v1
# AI模型的API Key。(这里默认填写了问问的令牌)你需要创建自己的令牌
- CHAT_API_KEY=sk-rqcfk0jpAxF0f962a768aF2456c9252De0f6a1e6cF0
CHAT_API_KEY 要改成自己的token , New API 在这里,点击钱包充值,然后新建我的令牌就可以了 。
docker 自定义配置
docker yaml 文件和config.json文件要从官方文档手动下载, 不能用curl -o 来下载,有bug。
找到下面的内容, 下载config.json和docker-compose.yaml (有三个向量库, 随便选一个)
打开docker-compose.yml, yml文件中的oneapi 和mysql docker 可以去掉(如果用wenwen 套壳代理)。
然后输入 docker-compose -d up 启动 如果识别不了,可以把后缀改成yaml 。
config.json中默认只有两个模型gpt3.5 和gpt4, 可以自己添加到LLM这个key里面
OneAPI 部署
场景
如果用上面的代理中转服务wenwen 就不需要部署OneAPI,如果有一些kimi , zhipu , qwen等等的商用api, 建议还是要部署一个oneapi
步骤
创建一个文件夹one-api ,建议是放在/data 下。完整路径为 /data/one-api。
然后用下面的docker 进行部署,不需要安装mysql。详细命令可以参考
docker run --name one-api -d --restart always -p 3002:3000 -e TZ=Asia/Shanghai -v /data/one-api:/data ghcr.io/songquanpeng/one-api
-p 3002:3000 表示把服务器的3002 映射到docker内的3000端口, 3000端口就是oneapi的web页面端口。 你也可以把3002 改成你想要的其他端口, 主要不要跟已经有的docker重复了, 重复会启动失败。
-v /data/one-api:/data 表示把服务器的/data/one-api路径映射到容器里面的/data
最后是镜像名ghcr.io/songquanpeng/one-api (代理镜像), 原本是justsong/one-api 这个镜像,但是由于需要翻墙所以用代理镜像。
然后没有报错就是启动成功了。
输入docker ps确认是否启动。
然后在浏览器输入http://<ip>:<刚刚的端口号,比如3002> ,就可以打开oneapi的管理界面了。