docker镜像管理基础

镜像的概念

镜像可以理解为应用程序的集装箱，而docker用来装卸集装箱。

docker镜像含有启动容器所需要的文件系统及其内容，因此，其用于创建并启动容器。

docker镜像采用分层构建机制，最底层为bootfs，其上为rootfs

bootfs：用于系统引导的文件系统，包括bootloader和kernel，容器启动完成后会被卸载以节约内存资源
rootfs：位于bootfs之上，表现为docker容器的根文件系统
传统模式中，系统启动之时，内核挂载rootfs会首先将其挂载为“只读”模式，完整性自检完成后将其重新挂载为读写模式
docker中，rootfs由内核挂载为“只读”模式，而后通过“联合挂载”技术额外挂载一个“可写”层

注意：当删除容器时，这个容器自有的“可写”层会一起被删除

docker镜像层

位于下层的镜像称为父镜像（parrent image），最底层的称为基础镜像（base image）；
最上层为“可读写”层，其下的均为“只读”层。

docker存储驱动

docker提供了多种存储驱动来实现不同的方式存储镜像，下面是常用的几种存储驱动：

AUFS
OverlayFS
Devicemapper
Btrfs
VFS

AUFS

AUFS（AnotherUnionFS）是一种Union FS，是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统，把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的，只有最上层的文件系统是可写的。当需要修改一个文件时，AUFS创建该文件的一个副本，使用CoW将文件从只读层复制到可写层进行修改，结果也保存在可写层。在Docker中，底下的只读层就是image，可写层就是Container。

AUFS文件系统据说有3W行代码，而ext4文件系统却只有4000-5000行左右代码，这些代码是要被整合进内核的，后来AUFS申请要被合并进内核代码的时候，linuz觉得它这代码太过臃肿，于是拒绝了。因此AUFS这个文件系统一直以来就不是linux内核中自有的文件系统，想用AUFS这个文件系统的话，必须自己向内核打补丁并去编译使用它，但redhat系列的操作系统一向以稳定著称，不会干这种出格的事，所以在redhat系列操作系统中使用AUFS并无可能。而ubuntu上的docker默认使用的就是AUFS。

OverlayFS

Overlay是Linux内核3.18后支持的，也是一种Union FS，和AUFS的多层不同的是Overlay只有两层：一个upper文件系统和一个lower文件系统，分别代表Docker的镜像层和容器层。当需要修改一个文件时，使用CoW将文件从只读的lower复制到可写的upper进行修改，结果也保存在upper层。在Docker中，底下的只读层就是image，可写层就是Container。目前最新的OverlayFS为Overlay2。

AUFS和Overlay都是联合文件系统，但AUFS有多层，而Overlay只有两层，所以在做写时复制操作时，如果文件比较大且存在比较低的层，则AUSF会慢一些。而且Overlay并入了linux kernel mainline，AUFS没有。目前AUFS已基本被淘汰。

DeviceMapper

Device mapper是Linux内核2.6.9后支持的，提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储，而Device mapper是块级存储，所有的操作都是直接对块进行操作，而不是文件。Device mapper驱动会先在块设备上创建一个资源池，然后在资源池上创建一个带有文件系统的基本设备，所有镜像都是这个基本设备的快照，而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照，并没有为容器分配空间。当要写入一个新文件时，在容器的镜像内为其分配新的块并写入数据，这个叫用时分配。当要修改已有文件时，再使用CoW为容器快照分配块空间，将要修改的数据复制到在容器快照中新的块里再进行修改。

OverlayFS是文件级存储，Device mapper是块级存储，当文件特别大而修改的内容很小，Overlay不管修改的内容大小都会复制整个文件，对大文件进行修改显然要比小文件要消耗更多的时间，而块级无论是大文件还是小文件都只复制需要修改的块，并不是整个文件，在这种场景下，显然device mapper要快一些。因为块级的是直接访问逻辑盘，适合IO密集的场景。而对于程序内部复杂，大并发但少IO的场景，Overlay的性能相对要强一些。

docker registry

启动容器时，docker daemon会试图从本地获取相关的镜像，本地镜像不存在时，其将从Registry中下载该镜像并保存到本地。

Registry用于保存docker镜像，包括镜像的层次结构和元数据。用户可以自建Registry，亦可使用官方的Docker Hub。

docker registry的分类：

• Sponsor Registry：第三方的Registry，供客户和Docker社区使用
• Mirror Registry：第三方的Registry，只让客户使用
• Vendor Registry：由发布docker镜像的供应商提供的registry
• Private Registry：通过设有防火墙和额外的安全层的私有实体提供的registry

docker registry的组成：

• Repository
  由某特定的docker镜像的所有迭代版本组成的镜像仓库
  一个Registry中可以存在多个Repository
  Repository可分为“顶层仓库”和“用户仓库”
  用户仓库名称格式为“用户名/仓库名”
  每个仓库可包含多个Tag(标签)，每个标签对应一个镜像
• Index
  维护用户帐户、镜像的检验以及公共命名空间的信息
  相当于为Registry提供了一个完成用户认证等功能的检索接口
  Docker Registry中的镜像通常由开发人员制作，而后推送至“公共”或“私有”Registry上保存，供其他人员使用，例如“部署”到生产环境。

docker镜像的制作

多数情况下，我们做镜像是基于别人已存在的某个基础镜像来实现的，我们把它称为base image。比如一个纯净版的最小化的centos、ubuntu或debian。

那么这个最小化的centos镜像从何而来呢？其实这个基础镜像一般是由Docker Hub的相关维护人员，也就是Docker官方手动制作的。这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的，但对于终端用户来说就不是那么容易制作的了。

Docker Hub

Docker Hub is a cloud-based registry service which allows you to link to code repositories, build your images and test them, stores manually pushed images, and links to Docker Cloud so you can deploy images to your hosts.
(Docker Hub是一种基于云的注册服务，它允许您链接到代码存储库、构建镜像测试它们、存储手动推送的镜像以及指向Docker cloud的链接，以便您可以将镜像部署到主机。)
It provides a centralized resource for container image discovery, distribution and change management, user and team collaboration, and workflow automation throughout the development pipeline.(它为容器镜像发现、分发和更改管理、用户和团队协作以及整个开发管道中的工作流自动化提供了一个集中化的资源。)

Docker Hub提供以下主要功能：

• 镜像存储库
  从社区和官方库中查找和提取图像，并管理、推送和从您可以访问的私有仓库中拉取镜像。

• 自动化构建
  当您更改代码仓库时，自动创建新的镜像

• Webhooks
  Webhooks是自动构建的一项功能，可以让你在成功推送到仓库后触发操作

• 组织
  创建工作组来管理对镜像仓库的访问

• GitHub 和BitBucket集成
  将Hub和你的Docker镜像添加到你当前的工作流程中

docker镜像的获取

要从一个远程仓库(比如你自己的docker仓库)获取docker镜像并将其添加到本地系统中，使用docker pull命令：

docker pull <registry>[:<port>]/[<namespace>/]<name>:<tag>

这是在TCP上提供docker分发服务的主机(默认5000)，并标识由仓库控制的特定镜像

有些仓库还支持raw；对于这些仓库来说，raw是可选的
然而，当它被包括在内时，提供的额外层次结构对于区分具有相同功能的镜像很有用

附加层次结构级别

命名空间	示例(<命名空间>/<名称>)
organization	redhat/kubernetes, google/kubernetes
login(username)	Alice/application, bob/application
role	devel/database, test/database, prod/database

镜像的生成

镜像的生成途径：

Dockerfile
基于容器制作
Docker Hub automated builds

基于容器制作镜像
在容器中创建一个新镜像

用法：

docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]

选项	默认	说明
–author, -a		作者(如：John Hannibal Smith hannibal@a-team.com
-c, --change list		对创建的镜像使用dockerfile指令
-m, --message string		提交消息
-p, --pause	true	提交期间暂停容器

//在容器中基于centos镜像制作nginx镜像


[root@localhost ~]# docker pull centos
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete 
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
centos       latest    5d0da3dc9764   2 months ago   231MB

[root@localhost ~]# docker create --name web -it centos
3bf168c312c95e4e7a061a22a91e59e957d0b6e656b340636c070307f4cfbc9c
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND                  CREATED         STATUS                       PORTS     NAMES
3bf168c312c9   centos    "/bin/bash"              9 seconds ago   Created                                web

[root@localhost ~]# docker start web
web
[root@localhost ~]# docker exec -it web /bin/bash
[root@3bf168c312c9 /]# ls
bin  etc   lib    lost+found  mnt  proc  run   srv  tmp  var
dev  home  lib64  media       opt  root  sbin  sys  usr

//在容器中创建nginx用户并安装所需依赖
[root@3bf168c312c9 /]# useradd -r -M -s /sbin/nologin nginx
[root@3bf168c312c9 /]# yum -y install pcre-devel openssl openssl-devel gd-devel gcc gcc-c++ make

//在容器中创建日志存放目录
[root@3bf168c312c9 /]# mkdir -p /var/log/nginx
[root@3bf168c312c9 /]# chown -R nginx.nginx /var/log/nginx

//下载nginx安装包到任意目录再传到容器里
[root@localhost src]# wget http://nginx.org/download/nginx-1.20.2.tar.gz
[root@localhost src]# docker cp nginx-1.20.2.tar.gz web:/usr/src

//到容器中查看并将解压
[root@3bf168c312c9 src]# ls
debug  kernels  nginx-1.20.2.tar.gz
[root@3bf168c312c9 src]# tar xf nginx-1.20.2.tar.gz 
[root@3bf168c312c9 src]# cd nginx-1.20.2
[root@3bf168c312c9 nginx-1.20.2]#./configure \
 --prefix=/usr/local/nginx \
 --user=nginx \
 --group=nginx \
 --with-debug \
 --with-http_ssl_module \
 --with-http_realip_module \
 --with-http_image_filter_module \
 --with-http_gunzip_module \
 --with-http_gzip_static_module \
 --with-http_stub_status_module \
 --http-log-path=/var/log/nginx/access.log \
 --error-log-path=/var/log/nginx/error.log
[root@3bf168c312c9 nginx-1.20.2]# make && make install

//安装后配置
[root@3bf168c312c9 nginx-1.20.2]# echo 'export PATH=/usr/local/nginx/sbin:$PATH' > /etc/profile.d/nginx.sh
[root@3bf168c312c9 nginx-1.20.2]#  . /etc/profile.d/nginx.sh 
[root@3bf168c312c9 nginx-1.20.2]# nginx
[root@3bf168c312c9 nginx-1.20.2]# ss -antl
State    Recv-Q   Send-Q     Local Address:Port     Peer Address:Port   Process   
LISTEN   0        128              0.0.0.0:80            0.0.0.0:*                

//在创建镜像时，我们不能关闭容器，必须使其处于运行状态，所以我们必须要另起一个终端，然后执行
[root@localhost src]# docker commit -p web
sha256:a0b83c2ed897cc38b688514f70709c333f715fa564dbdf5a02275c5d4c9fbb46
[root@localhost src]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED         SIZE
<none>       <none>    03e6d9abd4bc   2 minutes ago   549MB
centos       latest    5d0da3dc9764   2 months ago    231MB
[root@localhost ~]# docker tag 03e6d9abd4bc weixiaoya/nginx:v0.1
[root@localhost ~]# docker images
REPOSITORY        TAG       IMAGE ID       CREATED         SIZE
weixiaoya/nginx   v0.1      03e6d9abd4bc   2 minutes ago   549MB
centos            latest    5d0da3dc9764   2 months ago    231MB

此时要注意的是，我们的仓库名叫nginx，所以我们要在Docker Hub上创建一个名为nginx的仓库，然后再将我们做好的镜像push上去

[root@localhost ~]# docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: weixiaoya
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
[root@localhost ~]# docker push weixiaoya/nginx:v0.1
The push refers to repository [docker.io/weixiaoya/nginx]
574898c966f2: Pushing  145.9MB/317.4MB
574898c966f2: Pushed 
v0.1: digest: sha256:8e693892756144587c37deb06ef28ec65a329bffe4b236f0d2c7127be93ba91d size: 742

使用新生成的镜像创建容器

[root@localhost ~]# docker run --name test -it weixiaoya/nginx:v0.1
[root@d8aeb4a4a242 /]# ls
bin  etc   lib    lost+found  mnt  proc  run   srv  tmp  var
dev  home  lib64  media       opt  root  sbin  sys  usr

由此可见，新生成的镜像中是包含了新增的内容的，但是此时有一个问题，那就是容器默认要启动的进程是什么？在这里，默认情况下是启动的sh进程，但我们是要启动一个http站点，所以我们要在创建镜像时将容器默认启动的进程设为nginx，这样一来我们就可以通过新生成的镜像来快速构建一个简单的http站点了。

使用docker inspect命令查看web容器启动的默认进程是什么

[root@localhost ~]# docker inspect web
···········
            ],
            "Cmd": [
                "/bin/bash"
            ],
··········

//重新生成镜像并上传
[root@localhost ~]# docker push weixiaoya/nginx:v1
The push refers to repository [docker.io/weixiaoya/nginx]
6f4132bc2151: Pushed 
74ddd0ec08fa: Layer already exists 
v1: digest: sha256:ccb8c14e8b958d323101f02b81fc8b61e680cbdb704163e6218e74e699470349 size: 742

//使用新生成的镜像创建容器
[root@localhost ~]# docker run --name test2 -d weixiaoya/nginx:v1
40d07ec0c2a3f2a4722fc5d8c58d736b1d6956272bd9356ad2d7ec9a81a5113d
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE                  COMMAND       CREATED             STATUS             PORTS     NAMES
d8aeb4a4a242   weixiaoya/nginx:v0.1   "/bin/bash"   17 minutes ago      Up 17 minutes                test
3bf168c312c9   centos                 "/bin/bash"   About an hour ago   Up About an hour             web

使用docker inspect命令查看t2容器启动的默认进程是什么，以及其IP地址，然后用curl命令访问该IP，看是否能访问到网页
//访问测试
[root@localhost ~]# curl 172.17.0.2
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

镜像的导入与导出

假如有2台主机，我们在主机1上做了一个镜像，主机2想用这个镜像怎么办呢？

我们可以在主机1上push镜像到镜像仓库中，然后在主机2上pull把镜像拉下来使用，这种方式就显得比较麻烦，假如我只是测试用的，在一台主机上做好镜像后在另一台主机上跑一下就行了，没必要推到仓库上然后又把它拉到本地来。

此时我们可以在已有镜像的基础上把镜像打包成一个压缩文件，然后拷贝到另一台主机上将其导入，这就是镜像的导入和导出功能。

docker中我们使用docker save进行导出，使用docker load进行导入。

//在已生成镜像的主机上执行docker save导出镜像
[root@localhost ~]# docker save -o nginx.tar.gz weixiaoya/nginx:v1
[root@localhost ~]# ls
anaconda-ks.cfg  nginx.tar.gz

//删掉weixiaoya/nginx:v1这个镜像
[root@localhost ~]# docker images
REPOSITORY        TAG       IMAGE ID       CREATED          SIZE
weixiaoya/nginx   v1        c5574439f823   20 minutes ago   549MB
weixiaoya/nginx   v0.1      03e6d9abd4bc   53 minutes ago   549MB
centos            latest    5d0da3dc9764   2 months ago     231MB

[root@localhost ~]# docker rmi weixiaoya/nginx:v1
Untagged: weixiaoya/nginx:v1
Untagged: weixiaoya/nginx@sha256:63c8231913e4e4735688781ee1b7cc834f37a220249c4ef511c777e9160db42a
Deleted: sha256:8604b1eb53a5e74a8d9513f05149d9f7f68c113c88de9b24ae2bfd2f10f5057b
[root@localhost ~]# docker images
REPOSITORY        TAG       IMAGE ID       CREATED             SIZE
weixiaoya/nginx   v0.1      03e6d9abd4bc   57 minutes ago      549MB
centos            latest    5d0da3dc9764   2 months ago        231MB

//把刚刚导出的镜像重新导入
[root@localhost ~]# docker load -i nginx.tar.gz 
Loaded image: weixiaoya/nginx:v1
[root@localhost ~]# docker images
REPOSITORY        TAG       IMAGE ID       CREATED             SIZE
weixiaoya/nginx   v1        c5574439f823   26 minutes ago      549MB
weixiaoya/nginx   v0.1      03e6d9abd4bc   59 minutes ago      549MB
centos            latest    5d0da3dc9764   2 months ago        231MB