手把手教你离线安装 nvidia-docker以及docker (在线环境亦可)

本文将介绍在离线环境中安装Docker以及NVIDIA-Docker, 在开始阅读之前请检查以下CheckList

• 目标部署服务器/PC配置了Nvidia显卡
• 操作系统为Liunx( 本教程为 Ubuntu 22.04) (信创系统基本上为debian系，所以不会相差太多)

目标阅读人群:

• 运维
• 需要在容器中运行GPU应用的开发人员
• 需要在容器中使用GPU的开发人员（如 LLM， SD等)

资源准备

由于Docker使用Golang开发，所以我们并不需要处理很复杂依赖的关系，只要获取到docker的deb文件以及nvidia-docker的deb文件即可。

下载Docker

Ubuntu 22.04 官方deb包下载地址

注意我此处提供的地址是ubuntu 22.04 对应的docker安装包，如果你是其他系统请往上返回几级到对应的操作系统，也可以点击此处进入总目录，选择对应的操作系统

安装Docker所需要的deb文件列表如下:

文件名	作用描述
containerd.io_版本号_amd64.deb	提供 containerd，一个工业级的容器运行时，用于管理容器的生命周期。
docker-buildx-plugin_版本号_amd64.deb	提供 Docker Buildx 插件，支持多架构镜像构建和分布式构建功能。
docker-ce_版本号_amd64.deb	提供 Docker Community Edition（CE），是 Docker 的核心组件，用于容器化应用。
docker-ce-cli_版本号_amd64.deb	提供 Docker CE 的命令行工具，用于与 Docker 守护进程交互。
docker-ce-rootless-extras_版本号_amd64.deb	提供 Docker Rootless 模式下的额外功能，允许在不使用 root 权限的情况下运行 Docker。
docker-compose-plugin_版本号_amd64.deb	提供 Docker Compose 插件，用于定义和运行多容器 Docker 应用。

mkdir docker

下载完成之后保存至docker目录中, 你得目录中应该有如下文件, 记得Double Check

下载nvidia-docker

官方deb包下载地址

如果你是debian系就下载deb包，redhat系就下载rpm包 (无所谓操作系统版本，都可以安装)

文件名	作用描述
libnvidia-container1_版本号_amd64.deb	提供 libnvidia-container 的核心库，用于支持 NVIDIA 容器运行时。
libnvidia-container1-dbg_版本号_amd64.deb	提供调试符号，帮助开发者调试 libnvidia-container 库相关的问题。
libnvidia-container-dev_版本号_amd64.deb	提供开发头文件和库，用于开发与 libnvidia-container 相关的应用程序。
libnvidia-container-tools_版本号_amd64.deb	提供工具集，用于管理 NVIDIA 容器运行时环境。
nvidia-container-toolkit_版本号_amd64.deb	提供 NVIDIA 容器工具包，负责在容器中启用 GPU 支持。
nvidia-container-toolkit-base_版本号_amd64.deb	提供基础的 NVIDIA 容器工具包组件，是 nvidia-container-toolkit 的依赖项。
nvidia-container-toolkit-operator-extensions_版本号_amd64.deb	提供 Kubernetes Operator 扩展功能，用于在 Kubernetes 中管理 NVIDIA 容器工具包。

mkdir nvidia-docker

下载完成之后保存至nvidia-docker目录中, 你得目录中应该有如下文件, 记得Double Check

步骤

安装 Docker

进入你保存docker deb安装文件的目录

cd ./docker

执行dpkg -i *.deb 命令

sudo dpkg -i *.deb

查看版本号进行验证

sudo docker -v 

控制台输出如下

Docker version 26.1.3, build b72abbb

也可以通过sysmtectl检测当前docker服务的status

安装 NVIDIA-Docker

安装前请确保你已经安装了Nvidia的驱动，执行nvidia-smi

nvidia-smi

看到如下输出

进入你保存nvidia-docker deb安装文件的目录

cd ./docker

执行dpkg -i *.deb 命令

sudo dpkg -i *.deb

重启docker, 一定要执行！

sudo systemctl restart docker

验证是否安装成功, 可以有很多种方式，主要检测GPU应用是否正常运行

方法0x00： 拉取 NVIDIA 提供的 CUDA 测试镜像并运行

docker run --rm --gpus all nvidia/cuda:12.0-base nvidia-smi

方法0x01：如果你刚好要部署大模型，可以点击我之前的博客:docker+vllm 快速上手 以部署Qwen2.5通义千问为例自己部署一个大模型进行测试

P.S. 关注我，获取更多AI行业落地经验