COW机制
Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。
如果运行中的容器修改了现有的一个已经存在的文件,那么该文件将会从读写层下面的只读层复制到读写层,该文件的只读版本依然存在,只是已经被读写层中该文件的副本所隐藏,这就是“写时复制(COW)”机制。
对于这种方式来说,我们去访问一个文件,修改和删除等一类的操作,其效率会非常的低,因为隔着很多层镜像。
而要想绕过这种限制,我们可以通过使用存储卷的机制来实现。
什么是存储卷
存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着,当我们在容器中的这个目录下写入数据时,容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。
在宿主机上的这个与容器形成绑定关系的目录被称作存储卷。
[root@localhost ~]# docker run -it --rm busybox
/ # ls
bin etc proc sys usr
dev home root tmp var
/ # touch xaw
/ # ls
bin etc proc sys usr xaw
dev home root tmp var
/ #
//打开另一个终端查看
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
dad415e92145 busybox "sh" 31 seconds ago Up 30 seconds crazy_bartik
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 876M 0 876M 0% /dev
tmpfs 895M 0 895M 0% /dev/shm
tmpfs 895M 8.8M 886M 1% /run
tmpfs 895M 0 895M 0% /sys/fs/cgroup
/dev/mapper/cs-root 47G 3.5G 44G 8% /
/dev/sda1 1014M 195M 820M 20% /boot
tmpfs 179M 0 179M 0% /run/user/0
overlay 47G 3.5G 44G 8% /var/lib/docker/overlay2/102d0fd20cd84917d582b2ac4d500a45760bf36fe09133fff8c0e623fad87b36/merged
[root@localhost ~]# cd /var/lib/docker/overlay2/102d0fd20cd84917d582b2ac4d500a45760bf36fe09133fff8c0e623fad87b36/merged
[root@localhost merged]# ls
bin dev etc home proc root sys tmp usr var xaw
[root@localhost merged]#
联合挂载:
AUFS
Overlay
Devicemapper
VFS
btrfs
先挂载再做关联
//先关联后挂载:
[root@localhost ~]# ls /mnt/
hgfs
[root@localhost ~]# touch /mnt/xaw
[root@localhost ~]# ls /mnt/
hgfs xaw
// 挂载
[root@localhost ~]# mount /dev/cdrom /mnt/
mount: /mnt: WARNING: device write-protected, mounted read-only.
//查看发现xaw文件被隐藏
[root@localhost ~]# ls /mnt/
AppStream EFI isolinux media.repo
BaseOS images LICENSE TRANS.TBL
//取消挂载
[root@localhost ~]# umount /mnt/
[root@localhost ~]# ls /mnt/
hgfs xaw
使用存储卷的好处
如果容器中跑的进程的所有有效数据都保存在存储卷中,从而脱离容器自身文件系统之后,带来的好处是当容器关闭甚至被删除时,只要不删除与此容器绑定的在宿主机上的这个存储目录,我们就不用担心数据丢失了。因此就可以实现数据持久,脱离容器的生命周期而持久。
我们通过这种方式管理容器,容器就可以脱离主机的限制,可以在任意一台部署了docker的主机上跑容器,而其数据则可以置于一个共享存储文件系统上,比如nfs。
Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的,也就是说宿主机上有一块属于自己的硬盘,这个硬盘并没有共享给其他的Docker主机,而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。
这就意味着容器在这台主机上停止运行或者被删除了再重建,只要关联到硬盘上的这个目录下,那么其数据还存在。但如果在另一台主机上启动一个新容器,那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上,那么这个问题就不再是问题了。
为什么要用存储卷
关闭并重启容器,其数据不受影响,但删除Docker容器,则其更改将会全部丢失。
[root@localhost ~]# docker run -it --name xaw busybox
/ # ls
bin etc proc sys usr
dev home root tmp var
/ # mkdir /data
/ # ls
bin dev home root tmp var
data etc proc sys usr
/ # echo 'hello xaw' > data/index.html
/ # cat data/index.html
hello xaw
/ #
//新开终端去查看
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 876M 0 876M 0% /dev
tmpfs 895M 0 895M 0% /dev/shm
tmpfs 895M 8.8M 886M 1% /run
tmpfs 895M 0 895M 0% /sys/fs/cgroup
/dev/mapper/cs-root 47G 3.5G 44G 8% /
/dev/sda1 1014M 195M 820M 20% /boot
tmpfs 179M 0 179M 0% /run/user/0
overlay 47G 3.5G 44G 8% /var/lib/docker/overlay2/33dd628c44b6b59d2078d714ab62e84e1777eaec1f9d79378b5b98eca54e30b3/merged
[root@localhost ~]# cd /var/lib/docker/overlay2/33dd628c44b6b59d2078d714ab62e84e1777eaec1f9d79378b5b98eca54e30b3/merged
[root@localhost merged]# ls
bin data dev etc home proc root sys tmp usr var
//退出容器
/ # exit
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
0d6e30cac4ca busybox "sh" 2 minutes ago Exited (0) 23 seconds ago xaw
//退出容器后数据依然存在
[root@localhost merged]# ls
bin data dev etc home proc root sys tmp usr var
//删除容器
[root@localhost ~]# docker rm xaw
xaw
//数据丢失
[root@localhost merged]# ls
因此Docker存在的问题有:
- 存储于联合挂载文件系统中,不易于宿主机访问
- 容器间数据共享不便
- 删除容器其数据会丢失
而要解决这些问题,解决方案就是使用存储卷。
存储卷管理方式
存储卷(Data Volume)于容器初始化时被自动创建,由base image提供的卷中的数据会于此期间完成复制。
Volume的初衷是独立于容器的生命周期实现数据持久化,因此删除容器之时既不会删除卷,也不会对未被引用的卷做垃圾回收操作。
存储卷为Docker提供了独立于容器的数据管理机制,我们可以把镜像想象成静态文件,例如“程序”,把卷类比为动态内容,例如“数据”。所以镜像可以重用,而卷则可以共享。
卷实现了“程序(镜像)”和“数据(卷)”的分离,以及“程序(镜像)”和“制作镜像的主机”的分离,用户制作镜像时无须再考虑镜像运行的容器所在的主机的环境。
存储卷的分类
Docker有两种类型的卷,每种类型都在容器中存在一个挂载点,但其在宿主机上的位置有所不同:
-
绑定挂载卷
- 指向主机文件系统上用户指定位置的卷
-
Docker-managed体积
- Docker守护进程在主机文件系统的一部分中创建托管卷,这些卷归Docker所有
[root@localhost ~]# ll /var/lib/docker/overlay2/
总用量 4
drwx--x---. 4 root root 72 12月 2 12:19 16c3f954d30ab42aaaac0a43c8e486d5c07baa1a8e4d2d447fb3fe9c474aa0e8
drwx--x---. 4 root root 72 12月 2 12:18 1a2b0c525376186b2a4f2de42b51c5a7f1d05d1b0b25305b9004b5c870a01a5f
drwx--x---. 4 root root 72 12月 2 12:21 1c62a9ae8d0f437737b475062b70c13e5fb0a5945f1cdbadaf736014d948537f
容器数据管理
用户在使用Docker的过程中,往往需要能查看容器内应用产生的数据,或者需要把容器内的数据进行备份,甚至多个容器之间进行数据的共享,这必然涉及容器的数据管理操作。
容器中管理数据主要有两种方式:
- 数据卷(Data Volumes)
- 数据卷容器(Data Volumes Containers)
容器Volume使用语法:
Docker-managed volume
docker run -it --name CONTAINER_NAME -v VOLUMEDIR
IMAGE_NAME
[root@localhost ~]# docker run -it --rm -v /data busybox
/ # ls
bin dev home root tmp var
data etc proc sys usr
/ #
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 876M 0 876M 0% /dev
tmpfs 895M 0 895M 0% /dev/shm
tmpfs 895M 8.8M 886M 1% /run
tmpfs 895M 0 895M 0% /sys/fs/cgroup
/dev/mapper/cs-root 47G 3.1G 44G 7% /
/dev/sda1 1014M 195M 820M 20% /boot
tmpfs 179M 0 179M 0% /run/user/0
overlay 47G 3.1G 44G 7% /var/lib/docker/overlay2/cfe83672d074713d07f29618daa2976bc85c1a30c5dfc8b39a7edad660af8567/merged
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
96eb830204b2 busybox "sh" 20 seconds ago Up 18 seconds eager_herschel
[root@localhost ~]# docker inspect 96eb830204b2
............................
"Mounts": [
{
"Type": "volume",
"Name": "8d30475977c7ff781a2c938f44b4a7b9a6db90a7c7092e120c8fef3244daa706",
"Source": "/var/lib/docker/volumes/8d30475977c7ff781a2c938f44b4a7b9a6db90a7c7092e120c8fef3244daa706/_data",
"Destination": "/data",
"Driver": "local",
"Mode": "",
"RW": true,
"Propagation": ""
}
],
.............................
[root@localhost ~]# cd /var/lib/docker/volumes/8d30475977c7ff781a2c938f44b4a7b9a6db90a7c7092e120c8fef3244daa706/_data
[root@localhost _data]# ls
[root@localhost ~]# docker run -it --rm -v /data busybox
/ # ls
bin dev home root tmp var
data etc proc sys usr
/ # cd data/
/data # ls
/data # echo 'hello xaw' > test
/data # ls
test
[root@localhost ~]# cd /var/lib/docker/volumes/8d30475977c7ff781a2c938f44b4a7b9a6db90a7c7092e120c8fef3244daa706/_data
[root@localhost _data]# ls
test
[root@localhost _data]# pwd
/var/lib/docker/volumes/8d30475977c7ff781a2c938f44b4a7b9a6db90a7c7092e120c8fef3244daa706/_data
//跟上面的方式一样 退出容器后数据也会被删除
/data # exit
[root@localhost _data]# ls
[root@localhost _data]#
Bind mount volume
docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME
[root@localhost ~]# docker run -it --rm -v /opt/data:/data busybox
/ # cd data/
/data # ls
/data # touch xaw
/data # ls
xaw
/data # exit
[root@localhost ~]# ls /opt/
containerd data
[root@localhost ~]# cd /opt/data/
//删除后数据依然存在
[root@localhost data]# ls
xaw
在容器中使用数据卷
在容器内创建一个数据卷
下面使用nginx镜像创建一个web容器,并创建一个数据卷挂载到容器的/webapp目录下:
[root@localhost ~]# docker run --name web -d -P -v /webapp nginx
81ff0d0be68e943b3460264ff770f5b09a034b3bdf9d54e6638b6a79dc10def3
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
81ff0d0be68e nginx "/docker-entrypoint.…" 3 seconds ago Up 2 seconds 0.0.0.0:49153->80/tcp, :::49153->80/tcp web
#进入容器查看
[root@localhost ~]# docker exec -it web /bin/bash
root@81ff0d0be68e:/# ls
bin docker-entrypoint.d home media proc sbin tmp webapp
boot docker-entrypoint.sh lib mnt root srv usr
dev etc lib64 opt run sys var
#创建文件测试
root@81ff0d0be68e:/# cd webapp/
root@81ff0d0be68e:/webapp# ls
root@81ff0d0be68e:/webapp# touch test
root@81ff0d0be68e:/webapp# ls
test
#在宿主机挂载点查看
[root@localhost _data]# docker inspect web
"Mounts": [
{
"Type": "volume",
"Name": "f11a3631977715a09800ac997b03ed850b8f8e6654cf6aeb1508fd402d37fc6a",
"Source": "/var/lib/docker/volumes/f11a3631977715a09800ac997b03ed850b8f8e6654cf6aeb1508fd402d37fc6a/_data",
"Destination": "/webapp",
"Driver": "local",
"Mode": "",
"RW": true,
"Propagation": ""
}
]
[root@localhost volumes]# cd /var/lib/docker/volumes/f11a3631977715a09800ac997b03ed850b8f8e6654cf6aeb1508fd402d37fc6a/_data
[root@localhost _data]# ls
test
这里的-P是允许外部访问容器需要暴露的端口。
挂载一个主机目录作为数据卷
[root@localhost ~]# docker run --name web01 -d -P -v /data:/webapp nginx
f741062778019d36a64b7e6406503167f56597ba3e7475677801b324ef112361
[root@localhost ~]#
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f74106277801 nginx "/docker-entrypoint.…" 2 seconds ago Up 2 seconds 0.0.0.0:49156->80/tcp, :::49156->80/tcp web01
[root@localhost ~]# docker exec -it web01 /bin/bash
root@f74106277801:/# ls
bin docker-entrypoint.d home media proc sbin tmp webapp
boot docker-entrypoint.sh lib mnt root srv usr
dev etc lib64 opt run sys var
root@f74106277801:/webapp# touch 123
root@f74106277801:/webapp# ls
123
#在宿主机挂载目录下查看
[root@localhost data]# ls
123
上面的命令加载主机的/data目录到容器的/webapp目录:
这个功能在进行测试的时候非常方便,比如用户可以放置一些程序或数据到本地目录中,然后在容器内运行和使用。另外,本地目录的路径必须是绝对路径,如果目录不存在,Docker会自动创建。
Docker挂载数据卷的默认权限是读写(rw),用户也可以通过(ro)指定为只读:
[root@localhost ~]# docker run --name web02 -d -P -v /data/:/webapp:ro nginx
a61761425a211567eb20b0fd0c436b68b60a07f8a6fe853501f5806ac26ca37d
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a61761425a21 nginx "/docker-entrypoint.…" 9 seconds ago Up 8 seconds 0.0.0.0:49155->80/tcp, :::49155->80/tcp web02
[root@localhost ~]# docker exec -it web01 /bin/bash
root@a61761425a21:/# ls
bin docker-entrypoint.d home media proc sbin tmp webapp
boot docker-entrypoint.sh lib mnt root srv usr
dev etc lib64 opt run sys var
root@a61761425a21:/# cd webapp/
root@a61761425a21:/webapp# ls
root@a61761425a21:/webapp# touch 123
touch: cannot touch '123': Read-only file system #容器内只能读
#但是可以通过宿主机写
[root@localhost ~]# cd /data/
[root@localhost data]# ls
[root@localhost data]# mkdir 123
[root@localhost data]#
#容器里查看
root@a61761425a21:/webapp# ls
123
root@a61761425a21:/webapp#
加了:ro以后,容器内挂载的数据卷的数据就无法修改了。
挂载一个本地主机文件作为数据卷
-v选项也可以从主机挂载单个文件到容器中作为数据卷:
[root@localhost ~]# docker run -it --rm -v ~/.bash_history:/.bash_history centos /bin/bash
[root@0ba65f5c4f1b /]#
[root@0ba65f5c4f1b /]# ls
bin etc lib lost+found mnt proc run srv tmp var
dev home lib64 media opt root sbin sys usr
[root@0ba65f5c4f1b /]# cat .bash_history
ip a
vim /etc/sysconfig/network-scripts/ifcfg-ens160
cd /etc/yum.repos.d/
curl -o docker-ce.repo https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo
......
这样就可以记录在容器输入过的命令历史了。
如果直接挂载一个文件到容器,使用文件编辑工具,包括vi或者sed去修改文件内容的时候,可能会造成inode的改变,这样将会导致错误。所以推荐的方式是直接挂载文件所在的目录。
数据卷容器
如果用户需要在容器之间共享一些持续更新的数据,最简单的方式是使用数据卷容器。数据卷容器其实就是一个普通的容器,专门用它提供数据卷供其他容器挂载使用,方法如下:
首先,创建一个数据卷容器dbdata,并在其中创建一个数据卷挂载到/dbdata:
[root@localhost ~]# docker run -itd --name dbdata -v /data centos
79b3d02bdb0308294185a8dbdb848b9908af537aa438451d42f6bfd6a4656b9e
然后可以在其他容器中使用–volumes-from来挂载dbdata容器中的数据卷,例如创建db1和db2两个容器,并从dbdata容器挂载数据卷:
[root@localhost ~]# docker run -it --rm --volumes-from dbdata busybox /bin/sh
[root@localhost ~]# docker run -it --rm --volumes-from dbdata busybox /bin/sh
此时,容器db1和db2都挂载同一个数据卷到相同的/dbdata目录。三个容器任何一方在该目录下的写入,其他容器都可以看到。
例如,在db1容器中创建一个awm文件:
/ # ls
bin dev home root tmp var
data etc proc sys usr
/ # cd /data/
/data # ls
/data # touch xaw
在db2容器中查看:
/ # ls
bin dev home root tmp var
data etc proc sys usr
/ # cd data/
/data # ls
xaw
在2上删除,在1上也会删除
/data # rm -rf xaw
/data # ls
//在1上查看
/data # ls
可以多次使用–volumes-from参数来从多个容器挂载多个数据卷。还可以从其他已挂载了容器卷的容器来挂载数据卷:
//查看db1的hostname
/ # hostname
0f62c802b12a
//使用db1
[root@localhost ~]# docker run -it --name db3 --rm --volumes-from 0f62c802b12a busybox /bin/sh
/ # ls
bin dev home root tmp var
data etc proc sys usr
/ # ls /data/
my
使用–volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。
如果删除了挂载的容器(包括dbdata、db1和db2),数据卷并不会被自动删除。如果要删除一个数据卷,必须在删除最后一个还挂载着它的容器时显式使用docker rm -v命令来指定同时删除关联的容器。
创建nginx容器同时提供配置文件和网页文件
创建一个nginx容器,需要同时提供配置文件和网页文件
创建一个容器html作为容器卷,提供站点
[root@localhost ~]# mkdir /var/www/html -p
[root@localhost ~]# mkdir /config
[root@localhost html]# ls
xaw_files xaw.html
//创建一个容器html作为容器卷,提供站点
[root@localhost ~]# docker run -v /var/www/html:/usr/share/nginx/html --name html busybox
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
0ff395538102 busybox "sh" 9 seconds ago Exited (0) 7 seconds ago html
提供nginx配置文件
[root@localhost ~]# yum -y install nginx
[root@localhost ~]# mkdir /config/
[root@localhost ~]# cp -r /etc/nginx/* /config/
[root@localhost ~]# ls /config/
conf.d fastcgi_params.default nginx.conf uwsgi_params.default
default.d koi-utf nginx.conf.default win-utf
fastcgi.conf koi-win scgi_params
fastcgi.conf.default mime.types scgi_params.default
fastcgi_params mime.types.default uwsgi_params
验证是否有网站
[root@localhost ~]# docker run -it --rm --volumes-from html busybox
/ # ls /usr/share/nginx/html/
xaw.html xaw_files
/ #
/ # exit
基于容器html的容器卷挂载数据卷创建一个新的数据卷容器
[root@localhost ~]# docker run --volumes-from html --name nginx_conf -v /config:/etc/nginx busybox
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
caa5240cb166 busybox "sh" 9 seconds ago Exited (0) 7 seconds ago nginx_conf
0ff395538102 busybox "sh" 5 minutes ago Exited (0) 5 minutes ago html
基于容器nginx_conf的容器卷,创建nginx容器
[root@localhost ~]# docker run -d --name web --volumes-from nginx_conf -P --rm nginx
cc12d5009a993e22204c85c268d59e1f91610654e6b032f43649739b9a2121c4
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
cc12d5009a99 nginx "/docker-entrypoint.…" 4 seconds ago Up 3 seconds 0.0.0.0:49153->80/tcp, :::49153->80/tcp web
[root@localhost ~]# docker exec -it web /bin/bash
root@cc12d5009a99:/#
root@cc12d5009a99:/#
root@cc12d5009a99:/#
root@cc12d5009a99:/# ls /etc/nginx/
conf.d koi-utf scgi_params
default.d koi-win scgi_params.default
fastcgi.conf mime.types uwsgi_params
fastcgi.conf.default mime.types.default uwsgi_params.default
fastcgi_params nginx.conf win-utf
fastcgi_params.default nginx.conf.default
root@cc12d5009a99:/# ls /usr/share/nginx/html/
xaw.html xaw_files