Ubuntu 24.04 安装 NVIDIA Container Toolkit 全指南：让Docker拥抱GPU

前言

在使用Docker运行需要GPU加速的AI应用时，可能会遇到报错：
docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]
这是因为缺少 NVIDIA Container Toolkit —— 它是让容器访问宿主GPU的关键桥梁。
本文将以Ubuntu 24.04 (Noble Numbat)为例，手把手教你完成完整安装流程。

---

一、环境准备

1.1 验证驱动状态

nvidia-smi

成功时会显示类似以下输出（注意右上角的CUDA版本）

---

二、安装NVIDIA Container Toolkit

2.1 添加官方仓库

# 安装依赖
sudo apt-get update
sudo apt-get install -y curl

# 添加密钥和仓库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2.2 执行安装

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

---

三、配置Docker运行时

3.1 更新Docker配置

# 生成配置文件
sudo nvidia-ctk runtime configure --runtime=docker

# 重启Docker服务
sudo systemctl restart docker

---

四、验证安装结果

4.1 运行测试容器

docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi

成功时会看到与宿主机相同的GPU信息输出。

---

五、实战应用

现在可以运行你的GPU容器应用了！例如：

docker run --gpus all -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-gpu:latest

---

技术总结：本文介绍了在Ubuntu 24.04中配置GPU容器支持的全流程，涵盖了驱动安装、工具链配置和验证测试。如果您在操作中遇到问题，欢迎在评论区留言讨论！