docker深度学习环境配置及使用
目标:该文章用于记录ubuntu18.04下深度学习环境配置流程,以及记录docker常用命令
1. 深度学习环境配置
1.1 docker环境配置
1.1.1 docker安装
- 教程Ubuntu Docker 安装
- 使用官方安装脚本自动安装,命令如下:
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
1.1.2 设置非root账号不用sudo直接执行docker命令
1.1.2.1 现状
- 报错如下:
hehe@heheomg:~$ docker images
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.40/images/json: dial unix /var/run/docker.sock:connect: permission denied
1.1.2.2 解决方案
- 创建名为docker的组,如果之前已经有该组就会报错,可以忽略这个错误:
sudo groupadd docker
- 将当前用户加入组docker:
sudo gpasswd -a ${USER} docker
- 重启docker服务(生产环境请慎用):
sudo systemctl restart docker
- 给docker.sock添加权限
sudo chmod a+rw /var/run/docker.sock
1.2 安装GPU显卡驱动
1.2.1 检测NVIDIA显卡型号和推荐的驱动安装型号
- 命令如下:
ubuntu-drivers devices
- 从上图中可知,目前系统已连接Nvidia GeForce RTX 2070 显卡,建议安装驱动程序是 nvidia-510版本的驱动
- 安装驱动命令:
sudo apt-get install nvidia-driver-510
- 安装完成后重启系统
- 检查是否安装成功:
nvidia-smi
1.3 docker深度学习环境配置
- docker镜像:ufoym/deepo
- 拉取docker镜像:
docker pull ufoym/deepo
- 启动容器,同时启动jupyter notebook
docker run --gpus all -it -p 8888:8888 --ipc=host -v path1:path2 ufoym/deepo jupyter notebook --no-browser --ip=0.0.0.0 --allow-root --NotebookApp.token= --notebook-dir='/root'
- -i:以交互模式运行容器,通常与 -t 同时使用;
- –gpus: 使用gpu,–gpus all所有gpu, 数字,–gpus 2表示使用两个gpu, 指定gpu,如–gpus ‘“device=1,2”’
- -t: 为容器重新分配一个伪输入终端,通常与 -i 同时使用;
- -p: 指定端口映射,格式为:主机(宿主)端口:容器端口.
- –ipc host: 开放内存容器相互之间,以及与主机之间都能进行内存共享。
- -v:path1为服务器上挂载地址,path2为映射到容器中的地址
-
退出容器.
a. 按Ctrl+P+Q退出容器但不关闭
b. exit退出容器且关闭 -
本地连接jupyter notebook,浏览器输入127.0.0.1:8888;远程计算机连接服务器jupyter notebook, 浏览器输入服务器ip及其端口,如ip:8888
-
PS: 新增以下解释
jupyter notebook --no-browser --ip=0.0.0.0 --allow-root --NotebookApp.token= --notebook-dir='/root'
- jupyter notebook --no-browser : 启动,但不用弹出网页
- jupyter notebook --ip=0.0.0.0 : 公网启动
- jupyter notebook --NotebookApp.token=‘123456’ 启动并设置 Token
- jupyter notebook --notebook-dir=‘/root’ : 指定启动目录
- jupyter notebook --allow-root : 使用root用户启动
1.4 docker常用命令
- 查看docker版本信息.
docker version
- 查看docker的系统信息.
docker info
- 显示可用的镜像.
docker images
- 删除指定镜像.
docker rmi <镜像Id>
- 查看容器.
docker ps [OPTIONS]
- -a :显示所有的容器,包括未运行的。
- -f :根据条件过滤显示的内容。
- –format :指定返回值的模板文件。
- -l :显示最近创建的容器。
- -n :列出最近创建的n个容器。
- –no-trunc :不截断输出。
- -q :静默模式,只显示容器编号。
- -s :显示总的文件大小。
- 停止指定的容器.
docker stop container_id/container-name
- 启动容器.
docker start container_id/container-name
- 重启容器.
docker restart container_id/container-name
- 删除容器.
docker rm container_id/container-name
- 批量删除容器,删除所有运行结束了容器,正在运行的容器不会被删除.
docker rm $(docker ps -a -q)
- 连接到正在运行中的容器.
docker attach container_id/container-name