docker 镜像管理基础

1. 镜像的概念

镜像可以理解为应用程序的集装箱，而docker用来装卸集装箱。

docker镜像含有启动容器所需要的文件系统及其内容，因此，其用于创建并启动容器。

docker镜像采用分层构建机制，最底层为bootfs，其上为rootfs

• bootfs：用于系统引导的文件系统，包括bootloader和kernel，容器启动完成后会被卸载以节约内存资源
• rootfs：位于bootfs之上，表现为docker容器的根文件系统
  • 传统模式中，系统启动之时，内核挂载rootfs会首先将其挂载为“只读”模式，完整性自检完成后将其重新挂载为读写模式
  • docker中，rootfs由内核挂载为“只读”模式，而后通过“联合挂载”技术额外挂载一个“可写”层

[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED       SIZE
httpd        latest    dd85cdbb9987   3 weeks ago   138MB
ubuntu       latest    f643c72bc252   5 weeks ago   72.9MB

//下载busybox有1层
[root@localhost ~]# docker pull busybox
Using default tag: latest
latest: Pulling from library/busybox
d60bca25ef07: Pull complete 
Digest: sha256:49dae530fd5fee674a6b0d3da89a380fc93746095e7eca0f1b70188a95fd5d71
Status: Downloaded newer image for busybox:latest
docker.io/library/busybox:latest
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED       SIZE
busybox      latest    a77dce18d0ec   6 days ago    1.24MB
httpd        latest    dd85cdbb9987   3 weeks ago   138MB
ubuntu       latest    f643c72bc252   5 weeks ago   72.9MB

//下载nginx有5层
[root@localhost ~]# docker pull nginx
Using default tag: latest
latest: Pulling from library/nginx
6ec7b7d162b2: Already exists 
cb420a90068e: Pull complete 
2766c0bf2b07: Pull complete 
e05167b6a99d: Pull complete 
70ac9d795e79: Pull complete 
Digest: sha256:4cf620a5c81390ee209398ecc18e5fb9dd0f5155cd82adcbae532fec94006fb9
Status: Downloaded newer image for nginx:latest
docker.io/library/nginx:latest

注意：当删除容器时，这个容器自有的“可写”层会一起被删除

2. docker镜像层

位于下层的镜像称为父镜像（parrent image），最底层的称为基础镜像（base image）；
最上层为“可读写”层，其下的均为“只读”层。

3. docker存储驱动

docker提供了多种存储驱动来实现不同的方式存储镜像，下面是常用的几种存储驱动：

• AUFS
• OverlayFS
• Devicemapper
• Btrfs
• VFS

AUFS

AUFS（AnotherUnionFS）是一种Union FS，是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统，把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的，只有最上层的文件系统是可写的。当需要修改一个文件时，AUFS创建该文件的一个副本，使用CoW将文件从只读层复制到可写层进行修改，结果也保存在可写层。在Docker中，底下的只读层就是image，可写层就是Container。

AUFS文件系统据说有3W行代码，而ext4文件系统却只有4000-5000行左右代码，这些代码是要被整合进内核的，后来AUFS申请要被合并进内核代码的时候，linuz觉得它这代码太过臃肿，于是拒绝了。因此AUFS这个文件系统一直以来就不是linux内核中自有的文件系统，想用AUFS这个文件系统的话，必须自己向内核打补丁并去编译使用它，但redhat系列的操作系统一向以稳定著称，不会干这种出格的事，所以在redhat系列操作系统中使用AUFS并无可能。而ubuntu上的docker默认使用的就是AUFS。

OverlayFS

Overlay是Linux内核3.18后支持的，也是一种Union FS，和AUFS的多层不同的是Overlay只有两层：一个upper文件系统和一个lower文件系统，分别代表Docker的镜像层和容器层。当需要修改一个文件时，使用CoW将文件从只读的lower复制到可写的upper进行修改，结果也保存在upper层。在Docker中，底下的只读层就是image，可写层就是Container。目前最新的OverlayFS为Overlay2。

AUFS和Overlay都是联合文件系统，但AUFS有多层，而Overlay只有两层，所以在做写时复制操作时，如果文件比较大且存在比较低的层，则AUSF会慢一些。而且Overlay并入了linux kernel mainline，AUFS没有。目前AUFS已基本被淘汰。

DeviceMapper

Device mapper是Linux内核2.6.9后支持的，提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储，而Device mapper是块级存储，所有的操作都是直接对块进行操作，而不是文件。Device mapper驱动会先在块设备上创建一个资源池，然后在资源池上创建一个带有文件系统的基本设备，所有镜像都是这个基本设备的快照，而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照，并没有为容器分配空间。当要写入一个新文件时，在容器的镜像内为其分配新的块并写入数据，这个叫用时分配。当要修改已有文件时，再使用CoW为容器快照分配块空间，将要修改的数据复制到在容器快照中新的块里再进行修改。

OverlayFS是文件级存储，Device mapper是块级存储，当文件特别大而修改的内容很小，Overlay不管修改的内容大小都会复制整个文件，对大文件进行修改显然要比小文件要消耗更多的时间，而块级无论是大文件还是小文件都只复制需要修改的块，并不是整个文件，在这种场景下，显然device mapper要快一些。因为块级的是直接访问逻辑盘，适合IO密集的场景。而对于程序内部复杂，大并发但少IO的场景，Overlay的性能相对要强一些。

docker registry

启动容器时，docker daemon会试图从本地获取相关的镜像，本地镜像不存在时，其将从Registry中下载该镜像并保存到本地。

Registry用于保存docker镜像，包括镜像的层次结构和元数据。用户可以自建Registry，亦可使用官方的Docker Hub。

docker registry的分类：

• Sponsor Registry：第三方的Registry，供客户和Docker社区使用
• Mirror Registry：第三方的Registry，只让客户使用
• Vendor Registry：由发布docker镜像的供应商提供的registry
• Private Registry：通过设有防火墙和额外的安全层的私有实体提供的registry

docker registry的组成：

• Repository
  • 由某特定的docker镜像的所有迭代版本组成的镜像仓库
  • 一个Registry中可以存在多个Repository
    • Repository可分为“顶层仓库”和“用户仓库”
    • 用户仓库名称格式为“用户名/仓库名”
  • 每个仓库可包含多个Tag(标签)，每个标签对应一个镜像
• Index
  • 维护用户帐户、镜像的检验以及公共命名空间的信息
  • 相当于为Registry提供了一个完成用户认证等功能的检索接口

Docker Registry中的镜像通常由开发人员制作，而后推送至“公共”或“私有”Registry上保存，供其他人员使用，例如“部署”到生产环境。

4. docker镜像的制作

多数情况下，我们做镜像是基于别人已存在的某个基础镜像来实现的，我们把它称为base image。比如一个纯净版的最小化的centos、ubuntu或debian。

那么这个最小化的centos镜像从何而来呢？其实这个基础镜像一般是由Docker Hub的相关维护人员，也就是Docker官方手动制作的。这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的，但对于终端用户来说就不是那么容易制作的了。

5. Docker Hub

Docker Hub是一个基于云的仓库服务，它允许你链接到代码库，构建和测试你的映像，存储手动推送的映像，并链接到Docker Cloud，这样你就可以将映像部署到你的主机上。

它提供了一个认证的资源，它为容器映像发现、分发和变更管理、用户和团队协作以及整个开发管道的工作流自动化提供了集中的资源。

Docker Hub provides the following major features:

• Image Repositories（镜像仓库）
  • Find and pull images from community and official libraries, and manage, push to, and pull from private images libraries to which you have access.
• Automated Builds（自动构建）
  • Automatically create new images when you make changes to a source code repository.
• Webhooks
  • A feature of Automated Builds, Webhooks let you trigger actions after a successful push to a repository.
• Organizations（组织）
  • Create work groups to manage access to image repositories.
• GitHub and Bitbucket Integration （GitHub和Bitbucket的集成）
  • Add the Hub and your Docker Images to your current workflows.

6. docker镜像的获取

要从远程仓库(比如你自己的Docker仓库)获取Docker镜像并将它们添加到本地系统，使用Docker pull命令:

docker pull <registry>[:<port>]/[<namespace>/]<name>:<tag>

The is a host that provides the docker-distribution service on TCP （default：5000）

Together, and identify a particular image controlled by at the registry

• Some registries also support raw ;for those, is optional
• When it is included, however, the additional level of hierarchy that provides is usefull to distinguish between images with the same

The additional level of hierarchy of

Namespace	Examples(/)
organization	redhat/kubernetes, google/kubernetes
login(username)	Alice/application, bob/application
role	devel/database, test/database, prod/database

7. 镜像的生成

镜像的生成途径：

• Dockerfile
• 基于容器制作
• Docker Hub automated builds

8. 基于容器制作镜像

Create a new image from container’s changes

Usage：

docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]

Options	Default	Description
—author, -a		Author (e.g., “John Hannibal Smith hannibal@a-team.com”)
-c, --change list		Apply Dockerfile instruction to the created image
-m, --message string		Commit message
-p, --pause	true	Pause container during commit

[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED       SIZE
busybox      latest    a77dce18d0ec   6 days ago    1.24MB
nginx        latest    ae2feff98a0c   2 weeks ago   133MB
httpd        latest    dd85cdbb9987   3 weeks ago   138MB
ubuntu       latest    f643c72bc252   5 weeks ago   72.9MB
[root@localhost ~]# docker run --name b1 -it busybox
/ # 
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND              CREATED              STATUS                           PORTS     NAMES
d4e98eaa4c15   busybox   "sh"                 About a minute ago   Up About a minute                          b1
c8dea7f29c09   httpd     "httpd-foreground"   19 hours ago         Exited (255) About an hour ago   80/tcp    inspiring_kirch

//退出，容器停止运行
[root@localhost ~]# docker run --name b1 -it busybox
/ # 
/ # exit
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND              CREATED         STATUS                           PORTS     NAMES
d4e98eaa4c15   busybox   "sh"                 3 minutes ago   Exited (0) 8 seconds ago                   b1
c8dea7f29c09   httpd     "httpd-foreground"   19 hours ago    Exited (255) About an hour ago   80/tcp    inspiring_kirch

//执行完任务直接退出
[root@localhost ~]# docker run --name test -it busybox echo "hello work"
hello work
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND               CREATED          STATUS                           PORTS     NAMES
e6056f0de35c   busybox   "echo 'hello work'"   12 seconds ago   Exited (0) 11 seconds ago                  test

//加-rm适用与测试环境，推出直接删除容器
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND              CREATED        STATUS                           PORTS     NAMES
c8dea7f29c09   httpd     "httpd-foreground"   19 hours ago   Exited (255) About an hour ago   80/tcp    inspiring_kirch
[root@localhost ~]# docker run --name b1 -it --rm busybox 
/ # 
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND              CREATED          STATUS                           PORTS     NAMES
21f9b18810c9   busybox   "sh"                 35 seconds ago   Up 33 seconds                              b1
c8dea7f29c09   httpd     "httpd-foreground"   19 hours ago     Exited (255) About an hour ago   80/tcp    inspiring_kirch

[root@localhost ~]# docker run --name b1 -it --rm busybox 
/ # exit
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND              CREATED        STATUS                           PORTS     NAMES
c8dea7f29c09   httpd     "httpd-foreground"   19 hours ago   Exited (255) About an hour ago   80/tcp    inspiring_kirch

[root@localhost ~]# docker run --name b1 -it --rm busybox 
/ # ls
bin   dev   etc   home  proc  root  sys   tmp   usr   var
/ # mkdir data
/ # echo 'hello world' > data/abc
/ # cat data/abc
hello world

• 在创建镜像时，我们不能关闭容器，必须使其处于运行状态，所以我们必须要另起一个终端，然后执行

[root@localhost ~]# docker ps
CONTAINER ID   IMAGE     COMMAND   CREATED         STATUS         PORTS     NAMES
3233d2644c81   busybox   "sh"      4 minutes ago   Up 4 minutes             b1

[root@localhost ~]# docker commit -p 3233d2644c81
sha256:3cd131c51056054acb58cb6f6afbdc8d154c29e4eb8e4b74690d4f559c9ea604
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED          SIZE
<none>       <none>    3cd131c51056   13 seconds ago   1.24MB
busybox      latest    a77dce18d0ec   6 days ago       1.24MB
nginx        latest    ae2feff98a0c   2 weeks ago      133MB
httpd        latest    dd85cdbb9987   3 weeks ago      138MB
ubuntu       latest    f643c72bc252   5 weeks ago      72.9MB

• 此时要注意的是，我们的仓库名叫busybox，所以我们要在Docker Hub上创建一个名为busybox的仓库，然后再将我们做好的镜像push上去

//创建仓库busybox
[root@localhost ~]# docker tag 3cd131c51056 xiaozhan1108/busybox:v0.1
[root@localhost ~]# docker images
REPOSITORY             TAG       IMAGE ID       CREATED          SIZE
xiaozhan1108/busybox   v0.1      3cd131c51056   22 minutes ago   1.24MB
busybox                latest    a77dce18d0ec   6 days ago       1.24MB
nginx                  latest    ae2feff98a0c   2 weeks ago      133MB
httpd                  latest    dd85cdbb9987   3 weeks ago      138MB
ubuntu                 latest    f643c72bc252   5 weeks ago      72.9MB

//登录账号，密码
[root@localhost ~]# docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: xiaozhan1108
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

• 推送镜像到busybox仓库

[root@localhost ~]# docker images
REPOSITORY             TAG       IMAGE ID       CREATED          SIZE
xiaozhan1108/busybox   v0.1      3cd131c51056   52 minutes ago   1.24MB
busybox                latest    a77dce18d0ec   6 days ago       1.24MB
nginx                  latest    ae2feff98a0c   2 weeks ago      133MB
httpd                  latest    dd85cdbb9987   3 weeks ago      138MB
ubuntu                 latest    f643c72bc252   5 weeks ago      72.9MB
[root@localhost ~]# docker push xiaozhan1108/busybox:v0.1
The push refers to repository [docker.io/xiaozhan1108/busybox]
fabd81a666f9: Pushed 
1dad141bdb55: Mounted from library/busybox 
v0.1: digest: sha256:648a4651ad8decd23edca1a148d1b792dda09f38714e3f3d38a1290878103403 size: 734

[root@localhost ~]# docker images
REPOSITORY             TAG       IMAGE ID       CREATED          SIZE
xiaozhan1108/busybox   v0.1      3cd131c51056   58 minutes ago   1.24MB
busybox                latest    a77dce18d0ec   6 days ago       1.24MB
nginx                  latest    ae2feff98a0c   2 weeks ago      133MB
httpd                  latest    dd85cdbb9987   3 weeks ago      138MB
ubuntu                 latest    f643c72bc252   5 weeks ago      72.9MB

//rmi 删除镜像
[root@localhost ~]# docker rmi 3cd131c51056 
Untagged: xiaozhan1108/busybox:v0.1
Untagged: xiaozhan1108/busybox@sha256:648a4651ad8decd23edca1a148d1b792dda09f38714e3f3d38a1290878103403
Deleted: sha256:3cd131c51056054acb58cb6f6afbdc8d154c29e4eb8e4b74690d4f559c9ea604
Deleted: sha256:3065bf7dd3c501112cf16e35ad678885f7689010846962aa91c81ab93346f70c
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED       SIZE
busybox      latest    a77dce18d0ec   6 days ago    1.24MB
nginx        latest    ae2feff98a0c   2 weeks ago   133MB
httpd        latest    dd85cdbb9987   3 weeks ago   138MB
ubuntu       latest    f643c72bc252   5 weeks ago   72.9MB

• 使用新生成的镜像创建容器

[root@localhost ~]# docker run --rm -it xiaozhan1108/busybox:v0.1
Unable to find image 'xiaozhan1108/busybox:v0.1' locally    //显示本地没有这个镜像
/ # ls
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var
/ # ls data/
abc
/ # cat data/abc
hello world
/ # 

由此可见，新生成的镜像中是包含了新增的内容的，但是此时有一个问题，那就是容器默认要启动的进程是什么？在这里，默认情况下是启动的sh进程，但我们是要启动一个http站点，所以我们要在创建镜像时将容器默认启动的进程设为httpd，这样一来我们就可以通过新生成的镜像来快速构建一个简单的http站点了。

• 重新生成镜像并上传

//新建一个网页文件
[root@localhost ~]# docker run --rm -it xiaozhan1108/busybox:v0.1
Unable to find image 'xiaozhan1108/busybox:v0.1' locally
v0.1: Pulling from xiaozhan1108/busybox
d60bca25ef07: Already exists 
f2670f08a766: Pull complete 
Digest: sha256:648a4651ad8decd23edca1a148d1b792dda09f38714e3f3d38a1290878103403
Status: Downloaded newer image for xiaozhan1108/busybox:v0.1
/ # ls
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var
/ # ls data/
abc
/ # cat data/abc
hello world
/ # cd data/
/data # rm -f abc
/data # echo 'hello world test' > index.html
/data # ls
index.html

[root@localhost ~]# docker ps
CONTAINER ID   IMAGE                       COMMAND   CREATED          STATUS          PORTS     NAMES
02763b2bf823   xiaozhan1108/busybox:v0.1   "sh"      14 minutes ago   Up 13 minutes             gallant_visvesvaraya

[root@localhost ~]# docker commit -c 'CMD ["/bin/httpd","-f","-h","/data"]' -p 02763b2bf823 xiaozhan1108/busybox:v0.2
sha256:207d154679959f8bfe807aac25351f32c930a2cff11f3d1252a26c017178ad7d

//上传镜像
[root@localhost ~]# docker images
REPOSITORY             TAG       IMAGE ID       CREATED             SIZE
xiaozhan1108/busybox   v0.2      207d15467995   41 seconds ago      1.24MB
xiaozhan1108/busybox   v0.1      3cd131c51056   About an hour ago   1.24MB
busybox                latest    a77dce18d0ec   6 days ago          1.24MB
nginx                  latest    ae2feff98a0c   2 weeks ago         133MB
httpd                  latest    dd85cdbb9987   3 weeks ago         138MB
ubuntu                 latest    f643c72bc252   5 weeks ago         72.9MB

[root@localhost ~]# docker push xiaozhan1108/busybox:v0.2
The push refers to repository [docker.io/xiaozhan1108/busybox]
b8f36c7d2215: Pushed 
fabd81a666f9: Layer already exists 
1dad141bdb55: Layer already exists 
v0.2: digest: sha256:67f1b963f33f80d0c75cb2d5e32e12180dcc6828c488c9a9c11806ae324976f1 size: 941

//运行容器
[root@localhost ~]# docker run xiaozhan1108/busybox:v0.2

[root@localhost ~]# docker ps
CONTAINER ID   IMAGE                       COMMAND                  CREATED          STATUS          PORTS     NAMES
db7a9918cd8c   xiaozhan1108/busybox:v0.2   "/bin/httpd -f -h /d…"   17 seconds ago   Up 15 seconds             hardcore_visvesvaraya

使用docker inspect命令查看容器启动的默认进程是什么，以及其IP地址，然后用curl命令访问该IP，看是否能访问到网页

[root@localhost ~]# curl 172.17.0.3
hello world test