Docker打包chatglm2，Dockerfile文件记录

1.base镜像构建，docker build -t base .

#基于的基础镜像
FROM nvidia/cuda:11.0-base

# 安装 Python 和其他依赖
RUN apt-key adv --keyserver keyserver.ubuntu.com --recv-keys A4B469963BF863CC
RUN apt-get update && \
    apt-get install -y vim && \
    apt-get install -y python3 python3-pip
RUN pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple/

2.chat镜像构建 docker build -t chatglm .

#基于的基础镜像
FROM base
#代码添加到code文件夹
ADD . /home/zy/data2/damoxing
# 设置code文件夹是工作目录
WORKDIR /home/zy/data2/damoxing/ChatGLM2-6B
RUN pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ -r requirements.txt
EXPOSE 7860
EXPOSE 8000
EXPOSE 8001
CMD ["python3","/home/zy/data2/damoxing/ChatGLM2-6B/web_demo.py"]

3.运行 docker run --gpus all --runtime=nvidia -it -p 7860:7860 chatglm

4.打包

# 导出镜像
docker save -o my_image.tar my_image

# 加载镜像
docker load -i my_image.tar

5.测试api

curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'