文章目录
Docker镜像管理
镜像概念
镜像可以理解为应用程序的集装箱,而docker用来装卸集装箱。
docker镜像含有启动容器所需要的文件系统及其内容,因此,其用于创建并启动容器。
docker镜像采用分层构建机制,最底层为bootfs,其上为rootfs
- bootfs:用于系统引导的文件系统,包括bootloader和kernel,容器启动完成后会被卸载以节约内存资源
- rootfs:位于bootfs之上,表现为docker容器的根文件系统
- 传统模式中,系统启动之时,内核挂载rootfs会首先将其挂载为“只读”模式,完整性自检完成后将其重新挂载为读写模式
- docker中,rootfs由内核挂载为“只读”模式,而后通过“联合挂载”技术额外挂载一个“可写”层
Docker镜像层
位于下层的镜像称为父镜像(parrent image),最底层的称为基础镜像(base image);
最上层为“可读写”层,其下的均为“只读”层。
Docker存储驱动
docker提供了多种存储驱动来实现不同的方式存储镜像,下面是常用的几种存储驱动:
- AUFS
- OverlayFS
- Devicemapper
- Btrfs
- VFS
AUFS
AUFS(AnotherUnionFS)是一种Union FS,是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统,把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的,只有最上层的文件系统是可写的。当需要修改一个文件时,AUFS创建该文件的一个副本,使用CoW将文件从只读层复制到可写层进行修改,结果也保存在可写层。在Docker中,底下的只读层就是image,可写层就是Container。
Union 文件系统是 Docker 镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
OverlayFS
Overlay是Linux内核3.18后支持的,也是一种Union FS,和AUFS的多层不同的是Overlay只有两层:一个upper文件系统和一个lower文件系统,分别代表Docker的镜像层和容器层。当需要修改一个文件时,使用CoW将文件从只读的lower复制到可写的upper进行修改,结果也保存在upper层。
AUFS和Overlay都是联合文件系统,但AUFS有多层,而Overlay只有两层,所以在做写时复制操作时,如果文件比较大且存在比较低的层,则AUSF会慢一些。
DeviceMapper
Device mapper是Linux内核2.6.9后支持的,提供的一种从逻辑设备到物理设备的映射框架机制,在该机制下,用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储,而Device mapper是块级存储,所有的操作都是直接对块进行操作,而不是文件。Device mapper驱动会先在块设备上创建一个资源池,然后在资源池上创建一个带有文件系统的基本设备,所有镜像都是这个基本设备的快照,而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照,并没有为容器分配空间。当要写入一个新文件时,在容器的镜像内为其分配新的块并写入数据,这个叫用时分配。当要修改已有文件时,再使用CoW为容器快照分配块空间,将要修改的数据复制到在容器快照中新的块里再进行修改。
OverlayFS是文件级存储,Device mapper是块级存储,当文件特别大而修改的内容很小,Overlay不管修改的内容大小都会复制整个文件,对大文件进行修改显然要比小文件要消耗更多的时间,而块级无论是大文件还是小文件都只复制需要修改的块,并不是整个文件,在这种场景下,显然device mapper要快一些。因为块级的是直接访问逻辑盘,适合IO密集的场景。而对于程序内部复杂,大并发但少IO的场景,Overlay的性能相对要强一些。
Docker registry
启动容器时,docker daemon会试图从本地获取相关的镜像,本地镜像不存在时,其将从Registry中下载该镜像并保存到本地。
Registry用于保存docker镜像,包括镜像的层次结构和元数据。用户可以自建Registry,亦可使用官方的Docker Hub。
docker registry的分类:
- Sponsor Registry:第三方的Registry,供客户和Docker社区使用
- Mirror Registry:第三方的Registry,只让客户使用
- Vendor Registry:由发布docker镜像的供应商提供的registry
- Private Registry:通过设有防火墙和额外的安全层的私有实体提供的registry
docker registry的组成:
- Repository
- 由某特定的docker镜像的所有迭代版本组成的镜像仓库
- 一个Registry中可以存在多个Repository
- Repository可分为“顶层仓库”和“用户仓库”
- 用户仓库名称格式为“用户名/仓库名”
- 每个仓库可包含多个Tag(标签),每个标签对应一个镜像
- Index
- 维护用户帐户、镜像的检验以及公共命名空间的信息
- 相当于为Registry提供了一个完成用户认证等功能的检索接口
Docker Registry中的镜像通常由开发人员制作,而后推送至“公共”或“私有”Registry上保存,供其他人员使用,例如“部署”到生产环境。
Docker镜像的制作
多数情况下,我们做镜像是基于别人已存在的某个基础镜像来实现的,我们把它称为base image。比如一个纯净版的最小化的centos、ubuntu或debian。
那么这个最小化的centos镜像从何而来呢?其实这个基础镜像一般是由Docker Hub的相关维护人员,也就是Docker官方手动制作的。这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的,但对于终端用户来说就不是那么容易制作的了。
Docker Hub
Docker Hub 是一项基于云的注册中心服务,允许连接到代码存储库、构建镜像并对其进行测试、存储手动推送的镜像以及指向 Docker Cloud 的链接,以便将镜像部署到主机。
Docker Hub 提供以下主要功能:
- 镜像存储库
- 从社区和官方库中查找和提取镜像,以及管理、上传到你有权访问的私有镜像库以及从中拉取镜像库。
- 自动构建
- 在对源代码存储库进行更改时自动创建新镜像。
- Webhooks
- Webhooks 是自动构建的一项功能,可让你在成功上传到存储库后触发操作。
- 组织
- 创建工作组以管理对镜像存储库的访问。
- GitHub 和 Bitbucket 集成
- 将中心和 Docker 镜像添加到当前工作流程。
Docker镜像获取
要从远程注册中心(例如你自己的 Docker 注册中心)获取 Docker 镜像并将其添加到本地系统,请使用 docker pull 命令:
docker pull <registry>[:<port>]/[<namespace>/]<name>:<tag>
这是一个在TCP上提供 docker 分发服务的主机(默认端口:5000)
镜像的生成
镜像的生成途径:
- Dockerfile
- 基于容器制作
- Docker Hub 自动构建
基于容器制作镜像
根据容器的改编制作新的镜像
用法:
docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]
选项 | 默认 | 描述 |
---|---|---|
—author, -a | 作者 | |
-c, --change list | 将Dockerfile指令应用于创建的镜像 | |
-m, --message string | 提交信息 | |
-p, --pause | true | 在提交时暂停容器、 |
[root@100 ~]# docker search busybox
NAME DESCRIPTION STARS OFFICIAL AUTOMATED
busybox Busybox base image. 2697 [OK]
[root@100 ~]# docker pull busybox
Using default tag: latest
latest: Pulling from library/busybox
5cc84ad355aa: Pull complete
Digest: sha256:5acba83a746c7608ed544dc1533b87c737a0b0fb730301639a0179f9344b1678
Status: Downloaded newer image for busybox:latest
docker.io/library/busybox:latest
[root@100 ~]# docker run -it --name busybox1 busybox
/ # ls
bin dev etc home proc root sys tmp usr var
/ # mkdir data
/ # cd data/
/data # echo "hello123" > index.html
/data # cat index.html
hello123
创建镜像时不能关闭容器,必须要处于运行状态,所以开启另一个终端
[root@100 ~]# docker commit -p busybox1
sha256:f9f75784646ec3518825d82c93f70cc4821ee31bf0c87674acee4be04191b559
[root@100 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
<none> <none> f9f75784646e 9 seconds ago 1.24MB
busybox latest beae173ccac6 7 months ago 1.24MB
[root@100 ~]# docker tag f9f75784646e frices/busybox:v1
[root@100 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
frices/busybox v1 f9f75784646e 54 seconds ago 1.24MB
busybox latest beae173ccac6 7 months ago 1.24MB
在推送镜像到Docker Hub上时需要先授权登录
[root@100 ~]# docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: frices
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
[root@100 ~]# docker push frices/busybox:v1
The push refers to repository [docker.io/frices/busybox]
fbf58f7d6031: Pushed
01fd6df81c8e: Mounted from library/busybox
v1: digest: sha256:e1f01365178d015481ad870ea5f0ba97aab329325f941ca862f97f3fa6d0504e size: 734
也可以先在Docker Hub上创建存储库,后续推送镜像时可以直接指定存储库
使用新生成的镜像创建容器
[root@100 ~]# docker run -it --name busybox2 frices/busybox:v1
/ # ls
bin data dev etc home proc root sys tmp usr var
/ # ls /data/
index.html
/ # cat /data/index.html
hello123
由此可见,新生成的镜像中是包含了新增的内容的,但是此时有一个问题,那就是容器默认要启动的进程是什么
[root@100 ~]# docker inspect busybox1
...
],
"Cmd": [
"sh"
],
...
"Gateway": "172.17.0.1",
"IPAddress": "172.17.0.2",
...
重新生成镜像
[root@100 ~]# docker commit -a 'frices <frices 1@2.com>' -c 'CMD ["/bin/httpd","-f","-h","/data"]' -p busybox1 frices/busybox:v2
sha256:91cb46e11663ca87d9d7c85633425714af1434335661d5a926b29cde843da664
[root@100 ~]# docker push frices/busybox:v2
The push refers to repository [docker.io/frices/busybox]
2de50305b754: Pushed
01fd6df81c8e: Layer already exists
v2: digest: sha256:ee6501a32a62fe6ff09867218d51c8236127c4c66e74082a5a31300382c79f66 size: 734
使用新生成镜像创建容器
[root@100 ~]# docker run -d -it --name busy2 frices/busybox:v2
38bbf81e92bf49665cafe967b599ebb29d1a94499e82e02202bf51dcd21686c9
[root@100 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
38bbf81e92bf frices/busybox:v2 "/bin/httpd -f -h /d…" 3 seconds ago Up 3 seconds busy2
ffe7319052f5 busybox "sh" 22 minutes ago Up 22 minutes busybox1
查看busy2容器默认命令和IP地址,并访问测试
[root@100 ~]# docker inspect busy2
...
"Cmd": [
"/bin/httpd",
"-f",
"-h",
"/data"
],
...
"Gateway": "172.17.0.1",
"IPAddress": "172.17.0.3",
...
[root@100 ~]# curl 172.17.0.3
hello123
镜像导入和导出
假如有2台主机,我们在主机1上做了一个镜像,主机2想用这个镜像怎么办?
我们可以在主机1上push镜像到镜像仓库中,然后在主机2上pull把镜像拉下来使用,这种方式就显得比较麻烦,假如我只是测试用的,在一台主机上做好镜像后在另一台主机上跑一下就行了,没必要推到仓库上然后又把它拉到本地来。
此时我们可以在已有镜像的基础上把镜像打包成一个压缩文件,然后拷贝到另一台主机上将其导入,这就是镜像的导入和导出功能。
在已生成镜像的主机上执行docker save导出镜像
[root@100 ~]# docker save -o busyboxv2 frices/busybox:v2
[root@100 ~]# ls busyboxv2
busyboxv2
在另一台没有镜像的主机上执行docker load导入镜像
[root@100 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
busybox latest beae173ccac6 7 months ago 1.24MB
[root@100 ~]# docker load -i busyboxv2
2de50305b754: Loading layer [==================================================>] 4.608kB/4.608kB
Loaded image: frices/busybox:v2
[root@100 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
frices/busybox v2 91cb46e11663 9 minutes ago 1.24MB
busybox latest beae173ccac6 7 months ago 1.24MB
练习题
在Docker Hub上获取一个centos基础镜像并创建容器,然后在容器里源码安装httpd服务,并将该容器重新制作成镜像,httpd服务要默认运行
[root@100 ~]# docker search centos
NAME DESCRIPTION STARS OFFICIAL AUTOMATED
centos The official build of CentOS. 7267 [OK]
[root@100 ~]# docker pull centos
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest
[root@100 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
centos latest 5d0da3dc9764 10 months ago 231MB
[root@100 ~]# docker run -it --name centos centos /bin/bash
[root@bd27dbd157e9 /]# ls
bin dev etc home lib lib64 lost+found media mnt opt proc root run sbin srv sys tmp usr var
//配置yum源
[root@bd27dbd157e9 /]# rm -rf /etc/yum.repos.d/*
[root@bd27dbd157e9 /]# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo
[root@bd27dbd157e9 /]# sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
[root@bd27dbd157e9 /]# yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm
[root@bd27dbd157e9 /]# sed -i 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
[root@bd27dbd157e9 /]# sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*
[root@bd27dbd157e9 /]# cd /usr/src/
[root@bd27dbd157e9 src]# wget https://downloads.apache.org/apr/apr-1.6.5.tar.bz2
[root@bd27dbd157e9 src]# wget https://downloads.apache.org/apr/apr-util-1.6.1.tar.bz2
[root@bd27dbd157e9 src]# wget https://downloads.apache.org/httpd/httpd-2.4.54.tar.bz2
//安装apr
[root@bd27dbd157e9 src]# yum groups mark install "Development Tools"
[root@bd27dbd157e9 src]# useradd -r apache
[root@bd27dbd157e9 src]# yum -y install openssl-devel pcre-devel expat-devel libtool
[root@bd27dbd157e9 src]# tar xf apr-1.6.5.tar.bz2
[root@bd27dbd157e9 src]# cd apr-1.6.5
[root@bd27dbd157e9 apr-1.6.5]# vim configure
# $RM "$cfgfile"
[root@bd27dbd157e9 apr-1.6.5]# ./configure --prefix=/usr/local/apr
[root@bd27dbd157e9 apr-1.6.5]# make & make install
//安装apr-util
[root@bd27dbd157e9 src]# tar xf apr-util-1.6.1.tar.bz2
[root@bd27dbd157e9 src]# cd apr-util-1.6.1
[root@bd27dbd157e9 apr-util-1.6.1]# ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr
[root@bd27dbd157e9 apr-util-1.6.1]# make && make install
//安装httpd
[root@bd27dbd157e9 apr-util-1.6.1]# cd ..
[root@bd27dbd157e9 src]# tar xf httpd-2.4.54.tar.bz2
[root@bd27dbd157e9 src]# cd httpd-2.4.54
[root@bd27dbd157e9 httpd-2.4.54]# ./configure --prefix=/usr/local/apache \
--enable-so \
--enable-ssl \
--enable-cgi \
--enable-rewrite \
--with-zlib \
--with-pcre \
--with-apr=/usr/local/apr \
--with-apr-util=/usr/local/apr-util/ \
--enable-modules=most \
--enable-mpms-shared=all \
--with-mpm=prefork
[root@bd27dbd157e9 httpd-2.4.54]# make && make install
//编辑脚本
[root@bd27dbd157e9 /]# vim httpd.sh
#!/bin/bash
/usr/local/apache/bin/apachectl start
sleep 5d
[root@bd27dbd157e9 /]# chmod +x httpd.sh
//在另一个终端生成镜像
[root@100 ~]# docker commit -a 'frices <frices 1@2.com>' -c 'CMD ["./httpd.sh"]' -p centos frices/centos:httpd
sha256:fb51054ed919f409548aac4cc096c59413b283d08e2fff5669db2122ee4629e0
[root@100 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
frices/centos httpd fb51054ed919 14 seconds ago 730MB
centos latest 5d0da3dc9764 10 months ago 231MB
//用新生成的镜像创建容器
[root@100 ~]# docker run -d -it --name centos-httpd frices/centos:httpd
63faf66de4f29d213f8cbf34d914975edc76e26a97d6a37b3f69289661f4b244
[root@100 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
63faf66de4f2 frices/centos:httpd "./httpd.sh" 2 seconds ago Up 1 second centos-httpd
bd27dbd157e9 centos "/bin/bash" 41 minutes ago Up 41 minutes centos
[root@100 ~]# docker inspect centos-httpd
...
],
"Cmd": [
"./httpd.sh"
],
...
"Gateway": "172.17.0.1",
"IPAddress": "172.17.0.3",
...
//测试
[root@100 ~]# curl 172.17.0.3
<html><body><h1>It works!</h1></body></html>
//配置端口映射
[root@100 ~]# docker run -d -it --name centos-httpd2 -p 80:80 frices/centos:httpd
98ea2a845d29dab6d17ac329ad6dfe44c9392ce4fafe3b372bd65d4e6e58ca61
[root@100 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
98ea2a845d29 frices/centos:httpd "./httpd.sh" 2 minutes ago Up About a minute 0.0.0.0:80->80/tcp, :::80->80/tcp centos-httpd2
[root@100 ~]# ss -antl | grep 80
LISTEN 0 128 0.0.0.0:80 0.0.0.0:*
LISTEN 0 128 [::]:80 [::]:*