docker做Llm开发时可能会遇到的问题

如果没有开启GPU，会报错

docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

原因可能是 ：没有安装 GPU Docker 运行时

则按照如下参照安装，

基于 Docker 的深度学习环境：入门篇 - 苏洋博客

其中最后一步可能会报错，原因是configure没有load正确

#docker info | grep Runtimes

errors pretty printing info

修改 原来 /etc/docker/daemon.json 文件内容如下

{
  "default-runtime": "nvidia",
  "runtimes": {
    "nvidia": {
      "path": "/usr/bin/nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

参见

【Ubuntu】为Docker安装NVIDIA运行时环境（NVIDIA Container Runtime for Docker）_nvidia runtime-CSDN博客

再次安装后，查看即可。

#docker info | grep Runtimes

WARNING: No swap limit support
 Runtimes: io.containerd.runc.v2 io.containerd.runtime.v1.linux nvidia runc