【AI大模型】安装NVIDIA Container Toolkit

在使用docker时，如果想利用NVIDIA 的GPU ， 必须要安装暖光nvidia container toolkit。该工具包包括一个容器运行时库和实用程序，用于自动配置容器以利用 NVIDIA GPU。
参考地址：
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

Ubuntu下安装部署

第一步：配置仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

第二步：下载安装

#更新
sudo apt update
#安装nvidia-container-toolkit
sudo apt install nvidia-container-toolkit

第三步，配置运行

注意： 如果容器用是containerd： 请使用sudo nvidia-ctk runtime configure --runtime=containerd

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

第四步：验证

注意上面只是安装了一个NVIDIA Container Toolkit生成器，如果希望生成各种版本的cuda镜像，需要下面语句：

 docker run --gpus all --rm nvidia/cuda:9.0-base nvidia-smi

或

docker run --gpus all --rm nvidia/cuda:11.0-base nvidia-smi

第五步：检查images

docker images

可以看到生成的镜像。