1.base镜像构建,docker build -t base .
#基于的基础镜像
FROM nvidia/cuda:11.0-base
# 安装 Python 和其他依赖
RUN apt-key adv --keyserver keyserver.ubuntu.com --recv-keys A4B469963BF863CC
RUN apt-get update && \
apt-get install -y vim && \
apt-get install -y python3 python3-pip
RUN pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple/
2.chat镜像构建 docker build -t chatglm .
#基于的基础镜像
FROM base
#代码添加到code文件夹
ADD . /home/zy/data2/damoxing
# 设置code文件夹是工作目录
WORKDIR /home/zy/data2/damoxing/ChatGLM2-6B
RUN pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ -r requirements.txt
EXPOSE 7860
EXPOSE 8000
EXPOSE 8001
CMD ["python3","/home/zy/data2/damoxing/ChatGLM2-6B/web_demo.py"]
3.运行 docker run --gpus all --runtime=nvidia -it -p 7860:7860 chatglm
4.打包
# 导出镜像
docker save -o my_image.tar my_image
# 加载镜像
docker load -i my_image.tar
5.测试api
curl -X POST "http://127.0.0.1:8000" \
-H 'Content-Type: application/json' \
-d '{"prompt": "你好", "history": []}'