docker学习笔记
常用的镜像:
docker pull anibali/pytorch:cuda-10.0
删除none的镜像:
#!/bin/bash
docker ps -a | grep "Exited" | awk '{print $1}' | xargs docker stop
docker ps -a | grep "Exited" | awk '{print $1}' | xargs docker rm
docker images | grep none | awk '{print $3}' | xargs docker rmi
Docker是什么?
Docker是一个虚拟环境容器,可以将你的开发环境、代码、配置文件等一并打包到这个容器中,并发布和应用到任意平台中。比如,你在本地用Python开发网站后台,开发测试完成后,就可以将Python3及其依赖包、Flask及其各种插件、Mysql、Nginx等打包到一个容器中,然后部署到任意你想部署到的环境。
Docker官方文档比较全,建议有能力的读一下官方文档。
1. Docker的三个概念
- 镜像(Image):类似于虚拟机中的镜像,是一个包含有文件系统的面向Docker引擎的只读模板。任何应用程序运行都需要环境,而镜像就是用来提供这种运行环境的。例如一个Ubuntu镜像就是一个包含Ubuntu操作系统环境的模板,同理在该镜像上装上Apache软件,就可以称为Apache镜像。
- 容器(Container):类似于一个轻量级的沙盒,可以将其看作一个极简的Linux系统环境(包括root权限、进程空间、用户空间和网络空间等),以及运行在其中的应用程序。Docker引擎利用容器来运行、隔离各个应用。容器是镜像创建的应用实例,可以创建、启动、停止、删除容器,各个容器之间是是相互隔离的,互不影响。注意:镜像本身是只读的,容器从镜像启动时,Docker在镜像的上层创建一个可写层,镜像本身不变。
- 仓库(Repository):类似于代码仓库,这里是镜像仓库,是Docker用来集中存放镜像文件的地方。注意与注册服务器(Registry)的区别:注册服务器是存放仓库的地方,一般会有多个仓库;而仓库是存放镜像的地方,一般每个仓库存放一类镜像,每个镜像利用tag进行区分,比如Ubuntu仓库存放有多个版本(12.04、14.04等)的Ubuntu镜像。
关于镜像与容器的关系和联系,可以使用overlay2文件存储驱动来进一步深入理解,具体见文件存储驱动overlay2的使用介绍。
2.1 Docker的安装和卸载
Docker可以安装在Windows、Linux、Mac等各个平台上。具体可以查看文档Install Docker。
sudo apt install docker.io
将当前用户添加到docker用户组中(否则就只能sudo执行Docker相关命令)
sudo usermod -aG docker $USER
添加docker用户组
sudo groupadd docker
将当前用户加入到docker用户组
sudo gpasswd -a ${USER} docker
重启docker服务
sudo service docker restart
安装完成之后,可以查看Docker的版本信息:
|
查看Docker的帮助信息:# docker --help。各种命令的用法也不再赘述,后边用到哪些命令时会作出一定的解释。
如果你打算制作或者使用涉及到cuda或者cudnn等与GPU相关的镜像或容器,你需要安装nvidia-docker,请按照repo里的步骤安装nvidia-docker:https://github.com/NVIDIA/nvidia-docker。
在完成两步安装后,需要更改docker守护进程默认的runtime参数,请将/etc/docker/daemon.json
文件中键default-runtime
对应的值修改为nvidia
(如果没有default-runtime这个key,则需要添加:"default-runtime":"nvidia"),
然后通过sudo service docker restart
重启docker服务,这一步操作是为了避免之后运行与cuda或者cudnn库相关的容器时每次都要指定runtime
参数的情况。
2.2 安装nvidia-docker2
若要使用GPU nvidia时,需要安装nvidia-docker2 ,安装教程-->参考链接
如果出现:docker: Error response from daemon: Unknown runtime specified nvidia.,请安装:
apt-get install nvidia-container-runtime
测试是否安装成功:
sudo docker run -it --gpus all nvidia/cuda:10.0-base
或者
sudo docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi
一些运行命令:
docker run -it -v /path/to/project:/path/to/project -v /path/to/dataset:/path/to/dataset docker-image:tag /bin/bash
nvidia-docker run -it -v /path/to/project:/path/to/project -v /path/to/dataset:/path/to/dataset docker-image:tag /bin/bash
docker build -t="docker.cn/pytorch" .
docker run --runtime=nvidia --shm-size 8G \
--rm -it -p 80:80 \
-v `pwd`:/project \
"docker.dm-ai.cn/devops/sitting-recognition-service" \
/bin/bash
2.2 避免每次需要输入sudo
# 输入
sudo groupadd docker
# 回显示groupadd: group 'docker' already exists
# 将docker账户给与权限
sudo gpasswd -a <你的用户名> docker
# 例如: sudo gpasswd -a ubuntu docker
# 重启docker
sudo service docker restart
3 Docker中关于镜像的基本操作
安装完Docker引擎之后,就可以对镜像进行基本的操作了。
# 查看/etc/group,确定是否存在docker组
cat /etc/group | grep docker
# 安装Docker后,docker组已经创建好了,上面的命令输出如下:
docker:x:999:
# 将当前用户添加到 docker 组
sudo gpasswd -a ${USER} docker
# 重新登录或者用以下命令切换到docker组
newgrp - docker
# 重启docker服务
sudo service docker restart
# 不加sudo直接执行docker命令检查效果
docker images
# 安装Docker的时候拉取过hello-world镜像,所以输出如下:
REPOSITORY TAG IMAGE ID CREATED SIZE
hello-world latest 4ab4c602aa5e 8 weeks ago 1.84kB
# 删除none的镜像:
#!/bin/bash
docker ps -a | grep "Exited" | awk '{print $1}' | xargs docker stop
docker ps -a | grep "Exited" | awk '{print $1}' | xargs docker rm
docker images | grep none | awk '{print $3}' | xargs docker rmi
# 删除镜像
docker rmi -f image_ID
# 如果要退出就:
Ctrl-D
root@af8bae53bdd3:/# exit
我们从官方注册服务器(https://hub.docker.com)的仓库中pull下CentOS的镜像(或者设置我们公司的镜像仓库,具体方式见本文第五节的介绍)。每个仓库会有多个镜像,用tag标示,如果不加tag,默认使用latest镜像:
|
以上是下载一个已有镜像,此外有两种方法可以帮助你新建自有镜像。
3.1 docker删除容器和镜像
1、删除容器
1)首先需要停止所有的容器
docker stop $(docker ps -a -q)
2)删除所有的容器(只删除单个时把后面的变量改为image id即可)
docker rm $(docker ps -a -q)
2、删除镜像
1)查看host中的镜像
docker images
2)删除指定id的镜像
docker rmi <image id>
想要删除untagged images,也就是那些id为的image的话可以用
docker rmi $(docker images | grep "^" | awk "{print $3}")
3)删除全部的images
docker rmi $(docker images -q)
3.2 利用镜像启动一个容器后进行修改 ==> 利用commit提交更新后的副本
|
此时利用exit退出该容器,然后查看docker中运行的程序(容器):
|
这里将容器转化为一个镜像,即执行commit操作,完成后可使用docker images查看:
|
其中,-m指定说明信息;-a指定用户信息;72f1a8a0e394代表容器的id;panjinquan/centos:git指定目标镜像的用户名、仓库名和 tag 信息。注意这里的用户名zheng,后边会用到。
此时Docker引擎中就有了我们新建的镜像panjinqan
/centos:git,此镜像和原有的CentOS镜像区别在于多了个Git工具。此时我们利用新镜像创建的容器,本身就自带git了。
|
利用exit退出容器。注意此时Docker引擎中就有了两个容器,可使用docker ps -a查看。
3.3 利用Dockerfile创建镜像
Dockerfile可以理解为一种配置文件,用来告诉docker build命令应该执行哪些操作。一个简易的Dockerfile文件如下所示,官方说明:Dockerfile reference:
# 说明该镜像以哪个镜像为基础
FROM centos:latest
# 构建者的基本信息
MAINTAINER panjinqan
# 在build这个镜像时执行的操作
RUN yum update
RUN yum install -y git
# 拷贝本地文件到镜像中
COPY ./* /usr/share/gitdir/
有了Dockerfile之后,就可以利用build命令构建镜像了:
|
其中-t用来指定新镜像的用户信息、tag等。最后的点表示在当前目录寻找Dockerfile。
构建完成之后,同样可以使用docker images命令查看:
|
以上就是构建自己镜像的两种方法。其中也涉及到了容器的一些操作。如果想删除容器或者镜像,可以使用rm命令,注意:删除镜像前必须先删除以此镜像为基础的容器。
|
镜像其他操作指令:
|
四、Docker中关于容器的基本操作
在前边镜像的章节中,我们已经看到了如何基于镜像启动一个容器,即docker run操作。
(1)启动容器
|
这里-it是两个参数:-i和-t。前者表示打开并保持stdout,后者表示分配一个终端(pseudo-tty)。此时如果使用exit退出,则容器的状态处于Exit,而不是后台运行。如果想让容器一直运行,而不是停止,可以使用快捷键 ctrl+p ctrl+q 退出,此时容器的状态为Up。
除了这两个参数之外,run命令还有很多其他参数。其中比较有用的是-d后台运行:
|
这里第二条命令使用了-d参数,使这个容器处于后台运行的状态,不会对当前终端产生任何输出,所有的stdout都输出到log,可以使用docker logs container_name/container_id查看。
(2)docker run的其他参数命令如下:
|
(3)启动、停止、重启容器命令:
|
后台启动一个容器后,如果想进入到这个容器,可以使用attach命令:
|
删除容器的命令前边已经提到过了:
|
(4)挂载路径的方法:
docker run -it -v /path/to/project:/path/to/project -v /path/to/dataset:/path/to/dataset docker-image:tag
# 或者使用`pwd`表示当前路径
docker run --rm -it -v `pwd`:/workspace data:cv2 /bin/bash
# 对容器处理完的数据更改一下权限:
chmod -R 1000:1000 <要修改权限的文件或文件夹>
#!/usr/bin/env bash
# pip install --no-cache-dir -U polyaxon-client[gcs]==0.5.0
# pip install --no-cache-dir -U memory_profiler
# pip install --no-cache-dir -U xmltodict
# docker run -it -v /path/to/project:/path/to/project -v /path/to/dataset:/path/to/dataset docker-image:tag
# 或者使用`pwd`表示当前路径
# docker run --rm -it -v `pwd`:/workspace data:cv2 /bin/bash
# 对容器处理完的数据更改一下权限:
# chmod -R 1000:1000 <要修改权限的文件或文件夹>
docker run --rm -it \
-v `pwd`:/workspace \
-v /data3/panjinquan/dataset:/data3/panjinquan/dataset \
docker.dm-ai.cn/algorithm-research/torch:torch1.3-cuda10.0-face-recognition-v3 \
/bin/bash \
五、Docker中关于仓库的基本操作
Docker官方维护了一个DockerHub的公共仓库,里边包含有很多平时用的较多的镜像。除了从上边下载镜像之外,我们也可以将自己自定义的镜像发布(push)到DockerHub上。
在镜像操作章节中,我们新建了一个panjinqan
/centos:git镜像。
(1)访问https://hub.docker.com/,如果没有账号,需要先注册一个。
(2)利用命令docker login登录DockerHub,输入用户名、密码即可登录成功:
|
将容器转换镜像:
docker commit -m
"Flask"
-a "panjinqan"
container_id panjinqan/flask:v1
(3)将本地的镜像推送到DockerHub上,这里的panjinqan
要和登录时的username一致:
|
此时若不一致的话可以使用tag的形式进行标记:
|
(4)以后别人就可以从你的仓库中下载合适的镜像了。
|
对应于镜像的两种创建方法,镜像的更新也有两种:
- 创建容器之后做更改,之后commit生成镜像,然后push到仓库中。
- 更新Dockerfile。在工作时一般建议这种方式,更简洁明了。
**配置公司docker仓库**
DM docker仓库地址:Harbor
研究中心的docker均放置于algorithm-research路径下
修改~/.docker/config.json:(不存在此文件则需创建该文件)
|
注意:上图中配置的是panjinqan
的用户名及密码,需要重启服务并登出账户,然后使用自己的账户登录。
|
然后按照提示输入ldap账号和密码
配置成功后便可以使用docker pull 和docker push对公司的镜像进行操作。
六、利用Docker创建一个用于Flask开发的Python环境
上边已经解释和练习了Docker的基本操作命令,下边以实例的形式完整走一遍流程。
我们创建一个用于Flask开发的Python环境,包含Git、Python3、Flask以及其他依赖包等。
完整命令如下:
|
Docker的功能和特性还有很多,各种运行命令、参数等也都有待学习和练习,比如如何管理数据、如何管理网络、如何互相配合工作、如何编写更专业的Dockerfile等。本文先入门为主,以后有时间再慢慢更新关于Docker的知识。