cow机制
cow意思是写时复制,在对页表进程读操作时,不会产生异常,对页表进程写操作时,会触发page fault异常,通常这种机制的产生是通过对页表设置read-only.在linux fork()函数中,依照父进程复制子进程,进行资源复制时,依照cow技术原则,子进程对父进程的资源读操作时共享父进程资源,写操作时,则复制相应的要写的内存区域,这样最直观的好处是减少了内存消耗.有一个问题,一个父进程可以创建多个子进程,那么对于cow技术,也是相应的进程对写的操作的内存区域进行相应的复制操作。
对于这种方式来说,我们去访问一个文件,修改和删除等一类的操作,其效率会非常的低,因为隔着很多层镜像。
而要想绕过这种限制,我们可以通过使用存储卷的机制来实现。
什么是存储卷
存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着,当我们在容器中的这个目录下写入数据时,容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。
在宿主机上的这个与容器形成绑定关系的目录被称作存储卷。
使用存储卷的好处
如果容器中跑的进程的所有有效数据都保存在存储卷中,从而脱离容器自身文件系统之后,带来的好处是当容器关闭甚至被删除时,只要不删除与此容器绑定的在宿主机上的这个存储目录,我们就不用担心数据丢失了。因此就可以实现数据持久,脱离容器的生命周期而持久。
我们通过这种方式管理容器,容器就可以脱离主机的限制,可以在任意一台部署了docker的主机上跑容器,而其数据则可以置于一个共享存储文件系统上,比如nfs。
Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的,也就是说宿主机上有一块属于自己的硬盘,这个硬盘并没有共享给其他的Docker主机,而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。
这就意味着容器在这台主机上停止运行或者被删除了再重建,只要关联到硬盘上的这个目录下,那么其数据还存在。但如果在另一台主机上启动一个新容器,那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上,那么这个问题就不再是问题了。
为什么要用存储卷
关闭并重启容器,其数据不受影响,但删除Docker容器,则其更改将会全部丢失。
因此Docker存在的问题有:
1.存储于联合挂载文件系统中,不易于宿主机访问
2.容器间数据共享不便
3.删除容器其数据会丢失
而要解决这些问题,解决方案就是使用存储卷。
存储卷管理方式
存储卷(Data Volume)于容器初始化时被自动创建,由base image提供的卷中的数据会于此期间完成复制。
Volume的初衷是独立于容器的生命周期实现数据持久化,因此删除容器之时既不会删除卷,也不会对未被引用的卷做垃圾回收操作。
存储卷为Docker提供了独立于容器的数据管理机制,我们可以把镜像想象成静态文件,例如“程序”,把卷类比为动态内容,例如“数据”。所以镜像可以重用,而卷则可以共享。
卷实现了“程序(镜像)”和“数据(卷)”的分离,以及“程序(镜像)”和“制作镜像的主机”的分离,用户制作镜像时无须再考虑镜像运行的容器所在的主机的环境。
存储卷的分类
Docker有两种类型的卷,每种类型都在容器中存在一个挂载点,但其在宿主机上的位置有所不同:
绑定挂载卷:指向主机文件系统上用户指定位置的卷
Docker-managed体积:Docker守护进程在bye Docker拥有的主机文件系统的一部分中创建托管卷
容器数据管理
用户在使用Docker的过程中,往往需要能查看容器内应用产生的数据,或者需要把容器内的数据进行备份,甚至多个容器之间进行数据的共享,这必然涉及容器的数据管理操作。
容器中管理数据主要有两种方式:
1、数据卷(Data Volumes)
2、数据卷容器(Data Volumes Containers)
容器Volume使用语法:
Docker-managed volume
docker run -it --name CONTAINER_NAME -v VOLUMEDIR IMAGE_NAME
运行一个容器
[root@localhost ~]# docker run -it --rm -v /data busybox
/ # ls
bin data dev etc home proc root sys tmp usr var
/ # ls /data/
真机上面找到文件位置
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3a2e75caf416 busybox "sh" 29 seconds ago Up 28 seconds vigorous_buck
[root@localhost ~]# docker inspect 3a2e75caf416
。。。。。。。
"Type": "volume",
"Name": "86aa85ba4f621c42a7fc93162c9f60aa9ea6931752de775c464463130d821707",
"Source": "/var/lib/docker/volumes/86aa85ba4f621c42a7fc93162c9f60aa9ea6931752de775c464463130d821707/_data", //即为真机的位置
进入并创建目录
[root@localhost ~]# cd /var/lib/docker/volumes/86aa85ba4f621c42a7fc93162c9f60aa9ea6931752de775c464463130d821707/_data
[root@localhost _data]# ls
[root@localhost _data]# touch abc
[root@localhost _data]# ls
abc
可以看到容器里面也有这个新创建的
/ # ls /data/
abc
容器删除,真机也会删除
/ # rm /data/abc
/ # ls /data/
/ #
[root@localhost _data]# ls
[root@localhost _data]#
Bind mount volume
docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME
创建容器进入并创建
[root@localhost ~]# docker run -it --rm -v /var/www/html:/data busybox
/ # ls
bin data dev etc home proc root sys tmp usr var
/ # touch abc
真机查看,发现没有被创建
[root@localhost ~]# cd /var/www/html
[root@localhost html]# ls
[root@localhost html]#
把abc移动到data目录中
/ # mv abc data/
真机可以查看到
[root@localhost html]# ls
abc
在容器中使用数据卷
在容器内创建一个数据卷
下面使用nginx镜像创建一个web容器,并创建一个数据卷挂载到容器的/webapp目录下:
[root@localhost ~]# docker run -it --rm -v /webapp nginx
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
/docker-entrypoint.sh: Launching /docker-entrypoint.d/10-listen-on-ipv6-by-default.sh
10-listen-on-ipv6-by-default.sh: Getting the checksum of /etc/nginx/conf.d/default.conf
10-listen-on-ipv6-by-default.sh: Enabled listen on IPv6 in /etc/nginx/conf.d/default.conf
/docker-entrypoint.sh: Launching /docker-entrypoint.d/20-envsubst-on-templates.sh
/docker-entrypoint.sh: Configuration complete; ready for start up
[root@localhost ~]# docker exec -it c6fc5f8b7885 /bin/bash
root@c6fc5f8b7885:/# ls
bin docker-entrypoint.d home media proc sbin tmp webapp
boot docker-entrypoint.sh lib mnt root srv usr
dev etc lib64 opt run sys var
root@c6fc5f8b7885:/# cd webapp/
root@c6fc5f8b7885:/webapp# ls
root@c6fc5f8b7885:/webapp#
挂载一个本地主机文件作为数据卷
[root@localhost ~]# docker run -it --rm -v ~/.bash_history:/.bash_history centos
[root@e42cd88e7a4f /]# history
1 history
[root@e42cd88e7a4f /]# wc -l .bash_history
315 .bash_history //结果与本机查看一致
这样就可以记录在容器输入过的命令历史了。
如果直接挂载一个文件到容器,使用文件编辑工具,包括vi或者sed去修改文件内容的时候,可能会造成inode的改变,这样将会导致错误。所以推荐的方式是直接挂载文件所在的目录。
数据卷容器
如果用户需要在容器之间共享一些持续更新的数据,最简单的方式是使用数据卷容器。数据卷容器其实就是一个普通的容器,专门用它提供数据卷供其他容器挂载使用,方法如下:
首先,创建一个数据卷容器dbdata,并在其中创建一个数据卷挂载到/dbdata
[root@localhost ~]# docker run -d --name dbdata -v /dadata centos
a133d509a6a3151d4c30a99e155aeddc51ccac2ecdff2b8cb15b19465ca7b958
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
然后可以在其他容器中使用–volumes-from来挂载dbdata容器中的数据卷,例如创建db1和db2两个容器,并从dbdata容器挂载数据卷:
[root@localhost ~]# docker run -d --name db1 --volumes-from dbdata centos
2c7592bafd5524318f01833c93b7b06508f64059b47e1c6642585e0af3122dc9
[root@localhost ~]# docker run -d --name db2 --volumes-from dbdata centos
d951a7351ad3fa85b27cbce6ae73329e62018038fdbc03320e46c1892da1151c
此时,容器db1和db2都挂载同一个数据卷到相同的/dbdata目录。三个容器任何一方在该目录下的写入,其他容器都可以看到。
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d951a7351ad3 centos "/bin/bash" 42 seconds ago Exited (0) 40 seconds ago db2
2c7592bafd55 centos "/bin/bash" 49 seconds ago Exited (0) 48 seconds ago db1
a133d509a6a3 centos "/bin/bash" 2 minutes ago Exited (0) 2 minutes ago dbdata
[root@localhost ~]# docker run -it --name db1 --volumes-from dbdata centos
[root@f358114a98ba /]# ls
bin dev home lib64 media opt root sbin sys usr
dadata etc lib lost+found mnt proc run srv tmp var
[root@f358114a98ba /]# cd dadata/
[root@f358114a98ba dadata]# ls
[root@f358114a98ba dadata]#
[root@localhost ~]# docker run -it --name db2 --volumes-from dbdata centos
[root@10d6af0789f8 /]# ls
bin dev home lib64 media opt root sbin sys usr
dadata etc lib lost+found mnt proc run srv tmp var
[root@10d6af0789f8 /]# cd dadata/
[root@10d6af0789f8 dadata]# ls
[root@10d6af0789f8 dadata]#
db2上面创建,db1也可以看到
[root@10d6af0789f8 dadata]# ls
abc
[root@f358114a98ba dadata]# ls
abc
db1添加,db2也可以kan'd
[root@f358114a98ba dadata]# echo 'hello' > def
[root@f358114a98ba dadata]# ls
abc def
[root@f358114a98ba dadata]# cat def
hello
[root@10d6af0789f8 dadata]# ls
abc def
[root@10d6af0789f8 dadata]# cat def
hello
使用–volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。
如果删除了挂载的容器(包括dbdata、db1和db2),数据卷并不会被自动删除。如果要删除一个数据卷,必须在删除最后一个还挂载着它的容器时显式使用docker rm -v命令来指定同时删除关联的容器。
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
10d6af0789f8 centos "/bin/bash" 3 minutes ago Up 3 minutes db2
f358114a98ba centos "/bin/bash" 6 minutes ago Up 6 minutes db1
利用数据卷容器迁移数据
可以利用数据卷容器对其中的数据卷进行备份、恢复,以实现数据的迁移。
备份
使用下面的命令来备份dbdata数据卷容器内的数据卷:
[root@localhost ~]# docker run -it --rm --volumes-from dbdata -v $(pwd):/backup centos tar -Jcf /backup/backup.tar.xz /dadata
tar: Removing leading `/' from member names
这个命令稍微有点复杂,具体分析下。
首先利用centos镜像创建了一个容器。使用–volumes-from dbdata参数来让worker容器挂载dbdata容器的数据卷(即dbdata数据卷);使用-v $(pwd):/backup参数来挂载本地的当前目录到worker容器的/backup目录。
worker容器启动后,使用了tar cvf /backup/backup.tar /dbdata命令来将/dbdata下内容备份为容器内的/backup/backup.tar,即宿主主机当前目录下的backup.tar。
[root@localhost ~]# ls
! anaconda-ks.cfg backup.tar.xz myweb.tar.gz
[root@localhost ~]# tar xf backup.tar.xz
[root@localhost ~]# ls
! anaconda-ks.cfg backup.tar.xz dadata myweb.tar.gz
[root@localhost ~]# cd dadata/
[root@localhost dadata]# ls
abc def
[root@localhost dadata]# cat def
hello
恢复
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
[root@localhost ~]# docker run -it --name dbdata2 -v /dadata centos
[root@e1f6510fbb30 /]# ls /dadata/
[root@e1f6510fbb30 /]#
恢复
[root@localhost ~]# docker run -it --rm --volumes-from dbdata2 -v $(pwd):/backup busybox tar xf /backup/backup.tar.xz
然后可以查看到内容
[root@e1f6510fbb30 /]# ls /dadata/
abc def