清华开源语言大模型ChatGLM3联通one-api实现快速部署

安装ChatGLM3

详见我的上一篇文章: 清华开源语言大模型ChatGLM3部署实战

开启openai-api端口

cd openai_api_demo
python openai_api.py

• 使用Curl进行测试

curl -X POST "http://127.0.0.1:8000/v1/chat/completions" \
-H "Content-Type: application/json" \
-d "{\"model\": \"chatglm3-6b\", \"messages\": [{\"role\": \"system\", \"content\": \"You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.\"}, {\"role\": \"user\", \"content\": \"你好，给我讲一个故事，大概100字\"}], \"stream\": false, \"max_tokens\": 100, \"temperature\": 0.8, \"top_p\": 0.8}"

• 使用Python进行测试

cd openai_api_demo
python openai_api_request.py

如果测试成功，则模型应该返回一段故事。

安装one-api

#直接运行这行命令，docker会自动下载justsong/one-api镜像
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/data:/data justsong/one-api

通过http://localhost:3000/ root/123456 登录OneAPI

使用此种部署方法 按照这个进行填写，下一篇文章会讲如何和fastgpt联动

如果遇到什么问题欢迎评论区交流
群内交流更多技术
130856474