docker一键部署GPU版ChatGLM3

B超·

已于 2024-04-08 09:07:09 修改

阅读量364

点赞数 2

文章标签： docker 容器运维自然语言处理

于 2024-04-07 22:13:14 首次发布

本文链接：https://blog.csdn.net/qq_39935901/article/details/137480195

版权

一键运行

docker run --gpus all -itd --name chatglm3 -p 81:80 -p 6006:6006 -p 8888:8888 -p 7860:7860  -p 8501:8501 -p 8000:8000 --shm-size=32gb registry.cn-hangzhou.aliyuncs.com/cwp-docker/chatglm3-gpu:1.0

进入容器

docker exec -it chatglm3 /bin/bash

cd /data

在此深感抱歉，打包镜像的时候遗漏了一点点东西，不过问题不大，修改一下吧：

修改一下02startApi.sh脚本

#!/bin/bash


export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/data/huggingface
export MODEL_PATH=/data/THUDM_chatglm3-6b

cd openai_api_demo

python openai_api.py

进入目录

cd openai_api_demo/

下载依赖

pip install -r requirements.txt

这个应该是下载成功了、吧

回退到上一层目录

cd ..

执行启动脚本

nohup sh 02startApi.sh &

不出意外的话，就启动成功了。

java代码调用接口

private static void chatglm3() {
        Map<String, Object> params = new HashMap<>();
        params.put("model", "chatglm3-6b");
 
        List<Map<String, Object>> messages = new ArrayList<>();
        Map<String, Object> prompt = new HashMap<>();
        prompt.put("role", "user");
        prompt.put("content", "给我讲一个笑话");
        messages.add(prompt);
 
        params.put("messages", messages);
        params.put("stream", false);
        params.put("max_tokens", 100);
//        params.put("temperature", 0.8);
//        params.put("top_p", 0.8);
 
        String url = "http://127.0.0.1:8000/v1/chat/completions";
 
        String result = post(url, JSONUtil.toJsonStr(params), new HashMap<>());
        System.out.println(result);
}

接下来就可以参考Docker部署ChatGLM3、One API、FastGPT_docker镜像 chatglm-CSDN博客
部署One API、FastGPT,使用浏览器对话聊天了。

最后，就成功了！