文章目录
本文将讲一下如何安装docker以及Nvidia contaioner toolkit,从而构建容器使用GPU的基础。docker容器技术越来越普及,也成为算法部署的一种主流,可以实现一次构建多次部署。
1、Docker Engine安装
打开docker官网https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository,选择合适的平台,我们是ubuntu。按照官方指导进行安装
1.1 填加docker ce安装源到系统
sudo apt-get update
#安装依赖
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
#填加官方gpg,执行完会输出OK
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
#填加仓库
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
1.2 docker ce 安装
sudo apt-get update
#后两个不写也可以会自动安装
sudo apt-get install docker-ce docker-ce-cli containerd.io
如果要验证安装:
sudo docker run hello-world
#或者
sudo docker version
hello-world会看到:
到此,docker安装成功。docker 的升级,版本选择,删除等查看本文提供的链接。
安装完成后,进行如下配置,避免每次都输入sudo
。本文此后内容要依本操作是否执行来自行选择是否要加sudo。
sudo groupadd docker
sudo usermod -aG docker $USER #最后是获取用户名
#重启docker服务
sudo service docker restart
newgrp - docker
1.3 国内安装环境设置
1.3.1 docker 国内源设置
因为网络原因,步骤1.1和1.2有时并不能成功执行,这时,需要使用国内镜像来安装,如中科大、清华、阿里云的源。
安装 Docker CE,请按照 官方安装文档 ,选择你对应的系统,按命令进行执行,步骤1.1和1.2是以 Ubuntu 为例,参考 官方 Ubuntu 安装 Docker CE 手册 进行安装的,如果使用国内源如清华的要参考https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/,使用中科大的源参考http://mirrors.ustc.edu.cn/help/docker-ce.html,国内源只是把 download.docker.com
地址换成 mirrors.ustc.edu.cn/docker-ce
或mirrors.tuna.tsinghua.edu.cn/docker-ce
即可。如下为改后内容:
sudo apt-get update
#安装依赖
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
#填加官方gpg,执行完会输出OK
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
#填加仓库
sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
#后两个不写也可以会自动安装
sudo apt-get install docker-ce docker-ce-cli containerd.io
1.3.2 docker hub国内源设置
同样使用docker hub要用国内源才可以使用,对于使用 systemd 的系统(Ubuntu 16.04+、Debian 8+、CentOS 7), 在配置文件 /etc/docker/daemon.json
中加入:
{
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}
接着重启docker:
sudo systemctl daemon-reload
sudo systemctl restart docker
验证docker hub 是否生效:
sudo docker info
#在结果中查看是否有如下结果:
Registry Mirrors:
https://docker.mirrors.ustc.edu.cn/
也可以在阿里云申请自己的加速镜像 ,打开阿里云首页,点击弹性计算
,再点击容器镜像服务
,可能随着网页的改变,位置会发生改变,请自行查找。
在新打开的页面点击管理控制台:
接着进行登陆,如没有帐号,先注册再登陆: 选择如图中选项,获得个人的阿里云加速镜像。接着可以完成其它配置1.3.3 Apt-get国内源设置
另外,进入docker 容器中,因为要使用apt-get update
,所以同样要更新apt的国内源,两种方法图形界面依次打开:系统设置
,软件和更新
。在 下载自
中选择 其他站点
,然后在中国
的条目 下选择 mirrors.ustc.edu.cn
。
另一种是,直接手动更改配置文件:
#选备份
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
#将 /etc/apt/sources.list 文件中 Ubuntu 默认的源地址 http://archive.ubuntu.com/ 替换为 http://mirrors.ustc.edu.cn 即可,命令是:
sudo sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list
也可以直接改/etc/apt/sources.list
sudo vim /etc/apt/sources.list
#以ubuntu16.04为例,内容换为
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
#源码仓库
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
更改完 sources.list
文件后请运行 sudo apt-get update
更新索引以生效。
如要用于其他版本,把 xenial
换成其他版本代号即可: 20.04:focal
;18.04:bionic
;17.10:artful
;16.04:xenial
;14.04:trusty
,也可以到https://mirrors.ustc.edu.cn/repogen/下载对应系统的sources.list。
2 、Nvidia Container Toolkit安装
首先,要保证Nvidia 显卡的驱动已经安装,请参见我的博客,里边有两种方法,推荐用第一种方法, 当然,也可以用第二种,从第二种也可以进入到nvidia官网,按照官网说明来安装(官网的不一定会安装成功,可能不适配系统)。
安装成功后,接着安装Nvidia Container Toolkit,该工具使Docker 的容器能与主机的Nvidia显卡进行interact.更多信息可以访问Nvidia Container Toolkit的官方网站,目前(2020年8月1日),安装前要求nvidia的驱动已安装,但不要求安装CUDA,同时,docker 版本是19.03(以后这个肯定要更新)
nvidia-smi #确认显卡驱动
docker -v #确认版本
接着开始安装:
# Add the package repositories
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
上条命令如果输出:gpg: no valid OpenPGP data found.,可以多试几次,或者那么把命令分开执行:
curl -s -L -O https://nvidia.github.io/nvidia-docker/gpgkey #大写欧,会在本地保存一个gpgkey文件
sudo apt-key add gpgkey#会输出OK
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
该命令成功后可以查看cat /etc/apt/sources.list.d/nvidia-docker.list
,文个中会有如下内容:
deb https://nvidia.github.io/libnvidia-container/stable/ubuntu16.04/$(ARCH) /
#deb https://nvidia.github.io/libnvidia-container/experimental/ubuntu16.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-container-runtime/stable/ubuntu16.04/$(ARCH) /
#deb https://nvidia.github.io/nvidia-container-runtime/experimental/ubuntu16.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-docker/ubuntu16.04/$(ARCH) /
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
#更新 使用如下安装 nvidia-container-toolkit 换成 nvidia-docker2
sudo apt-get install -y nvidia-docker2
#####################或者分开执行#########################
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
########################################################
sudo systemctl restart docker
sudo docker run --gpus all --rm nvidia/cuda:10.0-base nvidia-smi
如果有nvidia-smi信息输出成功,那么,表示安装成功。