Docker安装大模型问题汇总

 一.ubuntu在apt-get时，出现GPG Error问题怎么解决

参考：ubuntu出现GPG Error问题怎么解决 - 问答 - 亿速云

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 自己的密钥

二.docker使用GPU

2.1配置/etc/docker/daemon.json

{
  "registry-mirrors": ["http://hub-mirror.c.163.com","http://hub-mirror.c.163.com","https://registry.docker-cn.com"],
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "runtimeArgs": []
    }
  },
  "default-runtime": "nvidia"
}

2.2安装docker运行时

      Docker19.03之后，增加了对--gpus选项的支持，我们在docker里面想读取nvidia显卡再也不需要额外的安装nvidia-docker2了。需要提前禁用nouveau：lsmod | grep nouveau没有输出即禁用了

 Ubuntu 安装 NVIDIA Container Toolkit：

1、添加密钥：

curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-runtime.gpg

2、添加软件源：

echo "deb [signed-by=/usr/share/keyrings/nvidia-container-runtime.gpg] https://nvidia.github.io/nvidia-container-runtime $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list > /dev/null

3、更新软件包列表：

sudo apt-get update

4、安装 NVIDIA Container Toolkit：

sudo apt-get install -y nvidia-container-toolkit

5、重启 Docker 服务：

sudo systemctl restart docker

6、查看

最后使用nvidia-container-toolkit --version命令检查是否安装完成。

三.清除无用镜像

docker image prune -a

docker system  prune

四.测试是否有gpu

nvidia-smi

五.Dockerfile文件

#基于的基础镜像
FROM nvidia/cuda:11.0-base

# 安装 Python 和其他依赖
RUN apt-key adv --keyserver keyserver.ubuntu.com --recv-keys A4B469963BF863CC
RUN apt-get update && \
    apt-get install -y python3 python3-pip
RUN pip install --upgrade pip
#代码添加到code文件夹
ADD . /home/zy/data2/damoxing
# 设置code文件夹是工作目录
WORKDIR /home/zy/data2/damoxing/ChatGLM2-6B

六.启动命令

docker run --gpus all --runtime=nvidia -it base（镜像名）