docker镜像管理基础
文章目录
镜像的概念
镜像可以理解为应用程序的集装箱,而docker用来装卸集装箱。
docker镜像含有启动容器所需要的文件系统及其内容,因此,其用于创建并启动容器。
docker镜像采用分层构建机制,最底层为bootfs,其上为rootfs
- bootfs:用于系统引导的文件系统,包括bootloader和kernel,容器启动完成后会被卸载以节约内存资源
- rootfs:位于bootfs之上,表现为docker容器的根文件系统
- 传统模式中,系统启动之时,内核挂载rootfs会首先将其挂载为“只读”模式,完整性自检完成后将其重新挂载为读写模式
- docker中,rootfs由内核挂载为“只读”模式,而后通过“联合挂载”技术额外挂载一个“可写”层
注意:当删除容器时,这个容器自有的“可写”层会一起被删除
docker镜像层
位于下层的镜像称为父镜像(parrent image),最底层的称为基础镜像(base image);
最上层为“可读写”层,其下的均为“只读”层。
docker存储驱动
docker提供了多种存储驱动来实现不同的方式存储镜像,下面是常用的几种存储驱动:
- AUFS
- OverlayFS
- Devicemapper
- Btrfs
- VFS
AUFS
AUFS(AnotherUnionFS)是一种Union FS,是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统,把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的,只有最上层的文件系统是可写的。当需要修改一个文件时,AUFS创建该文件的一个副本,使用CoW将文件从只读层复制到可写层进行修改,结果也保存在可写层。在Docker中,底下的只读层就是image,可写层就是Container。
AUFS文件系统据说有3W行代码,而ext4文件系统却只有4000-5000行左右代码,这些代码是要被整合进内核的,后来AUFS申请要被合并进内核代码的时候,linuz觉得它这代码太过臃肿,于是拒绝了。因此AUFS这个文件系统一直以来就不是linux内核中自有的文件系统,想用AUFS这个文件系统的话,必须自己向内核打补丁并去编译使用它,但redhat系列的操作系统一向以稳定著称,不会干这种出格的事,所以在redhat系列操作系统中使用AUFS并无可能。而ubuntu上的docker默认使用的就是AUFS。
OverlayFS
Overlay是Linux内核3.18后支持的,也是一种Union FS,和AUFS的多层不同的是Overlay只有两层:一个upper文件系统和一个lower文件系统,分别代表Docker的镜像层和容器层。当需要修改一个文件时,使用CoW将文件从只读的lower复制到可写的upper进行修改,结果也保存在upper层。在Docker中,底下的只读层就是image,可写层就是Container。目前最新的OverlayFS为Overlay2。
AUFS和Overlay都是联合文件系统,但AUFS有多层,而Overlay只有两层,所以在做写时复制操作时,如果文件比较大且存在比较低的层,则AUSF会慢一些。而且Overlay并入了linux kernel mainline,AUFS没有。目前AUFS已基本被淘汰。
DeviceMapper
Device mapper是Linux内核2.6.9后支持的,提供的一种从逻辑设备到物理设备的映射框架机制,在该机制下,用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储,而Device mapper是块级存储,所有的操作都是直接对块进行操作,而不是文件。Device mapper驱动会先在块设备上创建一个资源池,然后在资源池上创建一个带有文件系统的基本设备,所有镜像都是这个基本设备的快照,而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照,并没有为容器分配空间。当要写入一个新文件时,在容器的镜像内为其分配新的块并写入数据,这个叫用时分配。当要修改已有文件时,再使用CoW为容器快照分配块空间,将要修改的数据复制到在容器快照中新的块里再进行修改。
OverlayFS是文件级存储,Device mapper是块级存储,当文件特别大而修改的内容很小,Overlay不管修改的内容大小都会复制整个文件,对大文件进行修改显然要比小文件要消耗更多的时间,而块级无论是大文件还是小文件都只复制需要修改的块,并不是整个文件,在这种场景下,显然device mapper要快一些。因为块级的是直接访问逻辑盘,适合IO密集的场景。而对于程序内部复杂,大并发但少IO的场景,Overlay的性能相对要强一些。
docker registry
启动容器时,docker daemon会试图从本地获取相关的镜像,本地镜像不存在时,其将从Registry中下载该镜像并保存到本地。
Registry用于保存docker镜像,包括镜像的层次结构和元数据。用户可以自建Registry,亦可使用官方的Docker Hub。
docker registry的分类:
- Sponsor Registry:第三方的Registry,供客户和Docker社区使用
- Mirror Registry:第三方的Registry,只让客户使用
- Vendor Registry:由发布docker镜像的供应商提供的registry
- Private Registry:通过设有防火墙和额外的安全层的私有实体提供的registry
docker registry的组成:
- Repository
- 由某特定的docker镜像的所有迭代版本组成的镜像仓库
- 一个Registry中可以存在多个Repository
- Repository可分为“顶层仓库”和“用户仓库”
- 用户仓库名称格式为“用户名/仓库名”
- 每个仓库可包含多个Tag(标签),每个标签对应一个镜像
- Index
- 维护用户帐户、镜像的检验以及公共命名空间的信息
- 相当于为Registry提供了一个完成用户认证等功能的检索接口
Docker Registry中的镜像通常由开发人员制作,而后推送至“公共”或“私有”Registry上保存,供其他人员使用,例如“部署”到生产环境。
docker镜像的制作
多数情况下,我们做镜像是基于别人已存在的某个基础镜像来实现的,我们把它称为base image。比如一个纯净版的最小化的centos、ubuntu或debian。
那么这个最小化的centos镜像从何而来呢?其实这个基础镜像一般是由Docker Hub的相关维护人员,也就是Docker官方手动制作的。这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的,但对于终端用户来说就不是那么容易制作的了。
Docker Hub
Docker Hub 是一项基于云的registry的服务,允许将链接到代码仓库、构建镜像并对其进行测试、存储手动推送的镜像以及链接到 Docker Cloud,以便将镜像部署到主机。
它为容器镜像的发现,分发和更改管理,用户和团队协作以及整个开发管道中的工作流程自动化提供了集中式资源。
Docker Hub 提供以下主要功能:
镜像仓库(Image Repositories)
从社区和官方仓库中查找和提取镜像,以及管理、推送和提取您有权访问的私有镜像仓库。
自动构建(Automated Builds)
在对源代码存储库进行更改时自动创建新图像。
钩子(Webhooks)
作为自动构建的一项功能,Webhook 允许您在成功推送到镜像仓库后触发一个操作。
组织(Organizations)
创建工作组以管理对镜像仓库的访问。
GitHub 和 Bitbucket Integration
将Hub和 Docker 镜像添加到当前工作流中(集成)。
docker镜像的获取
要从远程镜像仓库(或者自己的 Docker 镜像仓库)获取 Docker 镜像并将其添加到本地系统,请使用 docker pull 命令:
# docker pull <registry>[:<port>]/[<namespace>/]<name>:<tag>
是在 TCP 上提供 docker 分发服务的主机(默认值:5000)
识别由注册中心控制的特定镜像
- 一些registries还支持行级的;对于那些是可选的
- 但是,当它被包含时,提供的附加层次结构级别对于区分具有相同层次结构的镜像是非常有用的一个工具。
附加层次结构级别
Namespace(名称空间) | Examples(/)(示例) |
---|---|
organization(组织) | redhat/kubernetes, google/kubernetes |
login(username)(用户) | Alice/application, bob/application |
role(角色) | devel/database, test/database, prod/database |
镜像的生成
镜像的生成途径:
- Dockerfile
- 基于容器制作
- Docker Hub automated builds
基于容器制作镜像
Create a new image from container’s changes
Usage:
docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]
Options | Default | Description |
---|---|---|
—author, -a | Author (e.g., “John Hannibal Smith hannibal@a-team.com”) | |
-c, --change list | Apply Dockerfile instruction to the created image | |
-m, --message string | Commit message | |
-p, --pause | true | Pause container during commit |
[root@localhost ~]# docker pull centos
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest
[root@829947547f38 /]# yum -y install pcre-devel openssl openssl-devel gd-devel gcc gcc-c++ make wget
[root@829947547f38 /]# yum -y group mark install "Development Tools"
Last metadata expiration check: 0:02:03 ago on Thu 02 Dec 2021 08:29:33 AM UTC.
Dependencies resolved.
==================================================================================
Package Architecture Version Repository Size
==================================================================================
Installing Groups:
Development Tools
Transaction Summary
==================================================================================
Complete!
[root@829947547f38 /]# useradd -r -M -s /sbin/nologin nginx
[root@829947547f38 ~]# mkdir -p /var/log/nginx
[root@829947547f38 local]# wget http://nginx.org/download/nginx-1.20.1.tar.gz
--2021-12-02 08:33:59-- http://nginx.org/download/nginx-1.20.1.tar.gz
Resolving nginx.org (nginx.org)... 3.125.197.172, 52.58.199.22, 2a05:d014:edb:5702::6, ...
Connecting to nginx.org (nginx.org)|3.125.197.172|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1061461 (1.0M) [application/octet-stream]
Saving to: ‘nginx-1.20.1.tar.gz’
nginx-1.20.1.tar.gz 100%[====================>] 1.01M 224KB/s in 4.6s
2021-12-02 08:34:04 (224 KB/s) - ‘nginx-1.20.1.tar.gz’ saved [1061461/1061461]
[root@829947547f38 local]# ls
bin games lib libexec sbin src
etc include lib64 nginx-1.20.1.tar.gz share
[root@829947547f38 local]# tar xf nginx-1.20.1.tar.gz
[root@829947547f38 local]# ls
bin games lib libexec nginx-1.20.1.tar.gz share
etc include lib64 nginx-1.20.1 sbin src
[root@829947547f38 local]# cd nginx-1.20.1
[root@829947547f38 nginx-1.20.1]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-debug --with-http_ssl_module --with-http_realip_module --with-http_image_filter_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_stub_status_module --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log
checking for OS
+ Linux 4.18.0-257.el8.x86_64 x86_64
checking for C compiler ... found
+ using GNU C compiler
+ gcc version: 8.5.0 20210514 (Red Hat 8.5.0-4) (GCC)
checking for gcc -pipe switch ... found
checking for -Wl,-E switch ... found
checking for gcc builtin atomic operations ... found
checking for C99 variadic macros ... found
[root@829947547f38 nginx-1.20.1]# make && make install
[root@829947547f38 nginx-1.20.1]# echo "export PATH=/usr/local/nginx/sbin:$PATH" > /etc/profile.d/nginx.sh
[root@829947547f38 local]# /usr/local/nginx/sbin/nginx
[root@829947547f38 local]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:80 0.0.0.0:*
在创建镜像时,我们不能关闭容器,必须使其处于运行状态,所以我们必须要另起一个终端,然后执行
[root@localhost ~]# docker commit -p c1
sha256:4b2af8fdacc7b0046922b715eb4a5b3b4098e8bcf77046c78c59cb2e17249d99
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
<none> <none> 4b2af8fdacc7 28 seconds ago 550MB
busybox latest d23834f29b38 2 days ago 1.24MB
httpd latest ad17c88403e2 13 days ago 143MB
centos latest 5d0da3dc9764 2 months ago 231MB
[root@localhost ~]# docker tag 4b2af8fdacc7 best2001/c1:v0.1
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
best2001/c1 v0.1 4b2af8fdacc7 2 minutes ago 550MB
busybox latest d23834f29b38 2 days ago 1.24MB
httpd latest ad17c88403e2 13 days ago 143MB
centos latest 5d0da3dc9764 2 months ago 231MB
此时要注意的是,我们的仓库名叫b1,所以我们要在Docker Hub上创建一个名为b1的仓库,然后再将我们做好的镜像push上去
[root@localhost ~]# docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: best2001
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
[root@localhost ~]# docker push best2001/c1:v0.1
The push refers to repository [docker.io/best2001/c1]
87d5fe9cc556: Pushed
74ddd0ec08fa: Mounted from library/centos
v0.1: digest: sha256:c3029b88317d2564b78acaacefe70a15ed12ba77d1347a55fed2ba7b3aa5b2fb size: 742
使用新生成的镜像创建容器
[root@localhost ~]# docker run --name t1 -it best2001/c1:v0.1
[root@49676d942358 /]# ls
bin etc lib lost+found mnt proc run srv tmp var
dev home lib64 media opt root sbin sys usr
[root@49676d942358 /]# /usr/local/nginx/sbin/nginx
[root@49676d942358 /]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:80 0.0.0.0:*
由此可见,新生成的镜像中是包含了新增的内容的,但是此时有一个问题,那就是容器默认要启动的进程是什么?在这里,默认情况下是启动的sh进程,但我们是要启动一个http站点,所以我们要在创建镜像时将容器默认启动的进程设为httpd,这样一来我们就可以通过新生成的镜像来快速构建一个简单的http站点了。
使用命令查看b1容器启动的默认进程是什么docker inspect
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
49676d942358 best2001/c1:v0.1 "/bin/bash" 7 minutes ago Up 7 minutes t1
[root@localhost ~]# docker inspect 49676d942358
·····省略部分·····
"EndpointID": "3add13e115a71559c4392b6aa02d284ec27dce733909d1d3dd63d02b053cea24",
"Gateway": "172.17.0.1",
"IPAddress": "172.17.0.2",
"IPPrefixLen": 16,
"IPv6Gateway": "",
"GlobalIPv6Address": "",
"GlobalIPv6PrefixLen": 0,
"MacAddress": "02:42:ac:11:00:03",
"DriverOpts": null
}
}
}
}
]
重新生成镜像并上传
[root@localhost ~]# docker commit -a 'nginx <1437529734@qq.com>' -c 'CMD ["/usr/local/nginx/sbin/nginx","-f","-h","/usr/local/"]' -p c1 best2001/c1:v0.1
[root@localhost ~]# docker push best2001/c1:v0.1
使用镜像创建容器
[root@localhost ~]# docker run --name n3 -dt best2001/c1:v0.1
2651ba6d2d5fd1e3eba909440e792142dbd0ae7d4ccf8e45d264ce82109f5e70
[root@localhost ~]# docker container ls
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2651ba6d2d5f best2001/c1:v0.1 "/bin/bash" About a minute ago Up About a minute n3
使用命令查看c3容器启动的默认进程是什么,以及其IP地址,然后用curl命令访问该IP,看是否能访问到网页docker inspect
[root@localhost ~]# docker exec -it 2651ba6d2d5f /usr/local/nginx/sbin/nginx
[root@localhost ~]# docker container ls
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2651ba6d2d5f best2001/c1:v0.1 "/bin/bash" 3 minutes ago Up 3 minutes n3
[root@localhost ~]# curl 172.17.0.2
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
镜像的导入与导出
假如有2台主机,我们在主机1上做了一个镜像,主机2想用这个镜像怎么办呢?
我们可以在主机1上push镜像到镜像仓库中,然后在主机2上pull把镜像拉下来使用,这种方式就显得比较麻烦,假如我只是测试用的,在一台主机上做好镜像后在另一台主机上跑一下就行了,没必要推到仓库上然后又把它拉到本地来。
此时我们可以在已有镜像的基础上把镜像打包成一个压缩文件,然后拷贝到另一台主机上将其导入,这就是镜像的导入和导出功能。
docker中我们使用docker save
进行导出,使用docker load
进行导入。
在已生成镜像的主机上执行docker save导出镜像
[root@localhost ~]# docker save -o nginx.gz best2001/c1:v0.1
[root@localhost ~]# ls
nginx.gz
在另一台没有镜像的主机上执行docker load导入镜像
[root@localhost ~]# docker load -i nginx.gz
87d5fe9cc556: Loading layer [==================================================>] 330.1MB/330.1MB
Loaded image: best2001/c1:v0.1
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
best2001/c1 v0.1 4b2af8fdacc7 4 hours ago 550MB