docker存储卷

docker存储卷

COW机制

Docker镜像由多个只读层叠加而成，启动容器时，Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。

如果运行中的容器修改了现有的一个已经存在的文件，那么该文件将会从读写层下面的只读层复制到读写层，该文件的只读版本依然存在，只是已经被读写层中该文件的副本所隐藏，这就是“写时复制(COW)”机制。

对于这种方式来说，我们去访问一个文件，修改和删除等一类的操作，其效率会非常的低，因为隔着很多层镜像。

而要想绕过这种限制，我们可以通过使用存储卷的机制来实现。

什么是存储卷

存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着，当我们在容器中的这个目录下写入数据时，容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。

在宿主机上的这个与容器形成绑定关系的目录被称作存储卷。

使用存储卷的好处

如果容器中跑的进程的所有有效数据都保存在存储卷中，从而脱离容器自身文件系统之后，带来的好处是当容器关闭甚至被删除时，只要不删除与此容器绑定的在宿主机上的这个存储目录，我们就不用担心数据丢失了。因此就可以实现数据持久，脱离容器的生命周期而持久。

我们通过这种方式管理容器，容器就可以脱离主机的限制，可以在任意一台部署了docker的主机上跑容器，而其数据则可以置于一个共享存储文件系统上，比如nfs。

Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的，也就是说宿主机上有一块属于自己的硬盘，这个硬盘并没有共享给其他的Docker主机，而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。

这就意味着容器在这台主机上停止运行或者被删除了再重建，只要关联到硬盘上的这个目录下，那么其数据还存在。但如果在另一台主机上启动一个新容器，那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上，那么这个问题就不再是问题了。

为什么要用存储卷

关闭并重启容器，其数据不受影响，但删除Docker容器，则其更改将会全部丢失。

因此Docker存在的问题有：

• 存储于联合挂载文件系统中，不易于宿主机访问
• 容器间数据共享不便
• 删除容器其数据会丢失

而要解决这些问题，解决方案就是使用存储卷。

存储卷管理方式

存储卷（Data Volume）于容器初始化时被自动创建，由base image提供的卷中的数据会于此期间完成复制。

Volume的初衷是独立于容器的生命周期实现数据持久化，因此删除容器之时既不会删除卷，也不会对未被引用的卷做垃圾回收操作。

存储卷为Docker提供了独立于容器的数据管理机制，我们可以把镜像想象成静态文件，例如“程序”，把卷类比为动态内容，例如“数据”。所以镜像可以重用，而卷则可以共享。

卷实现了“程序(镜像)”和“数据(卷)”的分离，以及“程序(镜像)”和“制作镜像的主机”的分离，用户制作镜像时无须再考虑镜像运行的容器所在的主机的环境。

存储卷的分类

Docker有两种类型的卷，每种类型都在容器中存在一个挂载点，但其在宿主机上的位置有所不同：

• Bind mount volume
  • a volume that points to a user-specified location on the host file system
• Docker-managed volume
  • the Docker daemon creates managed volumes in a portion of the host’s file system that’s owned bye Docker

容器数据管理

用户在使用Docker的过程中，往往需要能查看容器内应用产生的数据，或者需要把容器内的数据进行备份，甚至多个容器之间进行数据的共享，这必然涉及容器的数据管理操作。

容器中管理数据主要有两种方式：

• 数据卷（Data Volumes）
• 数据卷容器（Data Volumes Containers）

容器Volume使用语法：
Docker-managed volume

docker run -it --name CONTAINER_NAME -v VOLUMEDIR IMAGE_NAME

Bind mount volume

docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME

在容器中使用数据卷

在容器内创建一个数据卷

下面使用nginx镜像创建一个web容器，并创建一个数据卷挂载到容器的/webapp目录下：

[root@localhost ~]# docker run -d -P --name test -v /teat centos
1afd46de6fc35970edffbe82f8197fe4aaedeeee5203871f79a180b4743bc44a

这里的-P是允许外部访问容器需要暴露的端口。

挂载一个主机目录作为数据卷

制作httpd的镜像

##拉取一个镜像
[root@localhost ~]# docker pull centos
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete 
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest

##下载软件包
[root@e47f6b0408a4 /]#yum -y install openssl-devel pcre-devel expat-devel libtool gcc gcc-c++ make wget

##将软件包上传至容器中
[root@localhost ~]# ls
anaconda-ks.cfg  apr-1.7.0.tar.gz  apr-util-1.6.1.tar.gz  httpd-2.4.48.tar.gz
[root@localhost ~]# docker cp  httpd-2.4.48.tar.gz e47f6b0408a4:/usr/local
[root@localhost ~]# docker cp  apr-1.7.0.tar.gz e47f6b0408a4:/usr/local
[root@localhost ~]# docker cp  apr-util-1.6.1.tar.gz e47f6b0408a4:/usr/local
[root@e47f6b0408a4 local]# ls 
apr-1.7.0.tar.gz       bin  games                include  lib64    sbin   src
apr-util-1.6.1.tar.gz  etc  httpd-2.4.48.tar.gz  lib      libexec  share

##解压
[root@e47f6b0408a4 local]# tar xf apr-1.7.0.tar.gz 
[root@e47f6b0408a4 local]# tar xf apr-util-1.6.1.tar.gz 
[root@e47f6b0408a4 local]# tar xf httpd-2.4.48.tar.gz   
[root@e47f6b0408a4 local]# ls
apr-1.7.0         apr-util-1.6.1.tar.gz  games                include  libexec  src
apr-1.7.0.tar.gz  bin                    httpd-2.4.48         lib      sbin
apr-util-1.6.1    etc                    httpd-2.4.48.tar.gz  lib64    share

##编译安装
[root@e47f6b0408a4 local]# cd apr-1.7.0
[root@e47f6b0408a4 apr-1.7.0]# vi configure
    cfgfile=${ofile}T
    trap "$RM \"$cfgfile\"; exit 1" 1 2 15
    $RM "$cfgfile" #删掉
    
[root@e47f6b0408a4 apr-1.7.0]# ./configure --prefix=/usr/local/apr
[root@e47f6b0408a4 apr-1.7.0]# make && make install

[root@e47f6b0408a4 local]# cd apr-util-1.6.1
[root@e47f6b0408a4 apr-util-1.6.1]# ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr
[root@e47f6b0408a4 apr-util-1.6.1]# make && make install

[root@e47f6b0408a4 local]# cd httpd-2.4.48
[root@e47f6b0408a4 httpd-2.4.48]# ./configure --prefix=/usr/local/apache \
--sysconfdir=/etc/httpd24 \
--enable-so \
--enable-ssl \
--enable-cgi \
--enable-rewrite \
--with-zlib \
--with-pcre \
--with-apr=/usr/local/apr \
--with-apr-util=/usr/local/apr-util/ \
--enable-modules=most \
--enable-mpms-shared=all \
--with-mpm=prefork
[root@e47f6b0408a4 httpd-2.4.48]# make && make install

##执行环境变量
[root@e47f6b0408a4 httpd-2.4.48]# echo 'export PATH=/usr/local/apache/bin:$PATH' > /etc/profile.d/httpd.sh
[root@e47f6b0408a4 httpd-2.4.48]# source /etc/profile.d/httpd.sh 
[root@e47f6b0408a4 httpd-2.4.48]# which httpd
/usr/local/apache/bin/httpd
[root@e47f6b0408a4 apache]#  sed -i '/#ServerName/s/#//g' /etc/httpd24/httpd.conf
[root@e47f6b0408a4 apache]# apachectl start
[root@e47f6b0408a4 apache]# ss -antl
State      Recv-Q     Send-Q         Local Address:Port           Peer Address:Port     Process     
LISTEN     0          128                  0.0.0.0:80                  0.0.0.0:*

##配置容器启动httpd的脚本
[root@e47f6b0408a4 apache]# vi /usr/local/sbin/start.sh
[root@e47f6b0408a4 apache]# cat /usr/local/sbin/start.sh 
#!/bin/bash
/usr/sbin/sshd &
/usr/local/apache/bin/httpd -D FOREGROUND
[root@e47f6b0408a4 apache]# chmod +x /usr/local/sbin/start.sh 

##制作为镜像
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE     COMMAND       CREATED       STATUS          PORTS     NAMES
e47f6b0408a4   centos    "/bin/bash"   5 hours ago   Up 27 minutes             httpd
[root@localhost ~]# docker commit -p -c 'CMD ["/bin/bash","/usr/local/sbin/start.sh"]' e47f6b0408a4 best2001/httpd:v0.1
sha256:e68abfffba2f6139aa3a158019be6c9b3a4895e5cabb41616248fa0542d020f1
[root@localhost ~]# docker images
REPOSITORY       TAG       IMAGE ID       CREATED         SIZE
best2001/httpd   v0.1      e68abfffba2f   9 seconds ago   712MB

挂载一个主机的httpd的html为数据卷

[root@localhost ~]# ls /var/www/html/
css  img  index.html  js
[root@localhost ~]# docker run -d -p 80:80 --name web1 -v /var/www/html:/usr/local/apache/htdocs/ best2001/httpd:v0.1
[root@localhost ~]# ss -antl
State                 Recv-Q                Send-Q                                Local Address:Port                                 Peer Address:Port                Process                
LISTEN                0                     128                                         0.0.0.0:22                                        0.0.0.0:*                                          
LISTEN                0                     128                                         0.0.0.0:80                                        0.0.0.0:*                                          
LISTEN                0                     128                                            [::]:22                                           [::]:*                                          
LISTEN                0                     128                                            [::]:80                                           [::]:*           

上面的命令加载主机的/var/www/html目录到容器的/webapp目录：
这个功能在进行测试的时候非常方便，比如用户可以放置一些程序或数据到本地目录中，然后在容器内运行和使用。另外，本地目录的路径必须是绝对路径，如果目录不存在，Docker会自动创建。

Docker挂载数据卷的默认权限是读写(rw)，用户也可以通过(ro)指定为只读：

[root@localhost ~]# docker run -d -p 80:80 --name web1 -v /var/www/html:/usr/local/apache/htdocs/:ro best2001/httpd:v0.1

加了:ro以后，容器内挂载的数据卷的数据就无法修改了。

挂载一个本地主机文件作为数据卷
-v选项也可以从主机挂载单个文件到容器中作为数据卷：

[root@localhost ~]# docker run -it --rm -v ~/.bash_history:/.bash_history centos /bin/bash

这样就可以记录在容器输入过的命令历史了。

如果直接挂载一个文件到容器，使用文件编辑工具，包括vi或者sed去修改文件内容的时候，可能会造成inode的改变，这样将会导致错误。所以推荐的方式是直接挂载文件所在的目录。

数据卷容器

如果用户需要在容器之间共享一些持续更新的数据，最简单的方式是使用数据卷容器。数据卷容器其实就是一个普通的容器，专门用它提供数据卷供其他容器挂载使用，方法如下：

首先，创建一个数据卷容器dbdata，并在其中创建一个数据卷挂载到/dbdata：

[root@localhost html]# docker run -itd --name lq -v /liu best2001/httpd:v0.1
83afdfa710e7005062433b7dce16b0cc4a621eb6b888b40606cdc0f356bc05d0

##进入容器并进入创建的目录再创建一个文件
[root@localhost html]# docker exec -it lq /bin/bash
[root@83afdfa710e7 /]# cd liu
[root@83afdfa710e7 liu]# touch  liuqiang
[root@83afdfa710e7 liu]# ls
liuqiang

然后可以在其他容器中使用–volumes-from来挂载dbdata容器中的数据卷，例如创建db1和db2两个容器，并从dbdata容器挂载数据卷：

##创建lq1和lq2两个容器
[root@localhost ~]# docker run -d --name lq1 --volumes-from lq  best2001/httpd:v0.1
9fa6842f46965d2ddc72f6037192b7638d3e7c99b0c60abf0cc37078d05fe8c5

[root@localhost ~]# docker run -d --name lq2 --volumes-from lq  best2001/httpd:v0.1
5cc394c91a1815fc62ff72af41be899273a205f319bac25aea8bffc828feb698

##进入lq1与lq2容器查看
[root@localhost ~]# docker exec -it lq1 /bin/bash
[root@9fa6842f4696 /]# cd liu/
[root@9fa6842f4696 liu]# ls
liuqiang

[root@localhost ~]# docker exec -it lq2 /bin/bash 
[root@5cc394c91a18 /]# cd liu/
[root@5cc394c91a18 liu]# ls
liuqiang

删除liuqiang文件测试
[root@5cc394c91a18 liu]# rm -rf liuqiang 
[root@5cc394c91a18 liu]# ls

[root@localhost ~]# docker exec -it lq1 /bin/bash
[root@9fa6842f4696 /]# cd liu/
[root@9fa6842f4696 liu]# ls   ##已经不存在
[root@9fa6842f4696 liu]# 

##新建文件测试，此时，容器lq1和lq2都挂载同一个数据卷到相同的/dbdata目录。三个容器任何一方在该目录下的写入，其他容器都可以看到,例如，在lq1容器中创建一个test文件
[root@9fa6842f4696 liu]# touch luochuruan
[root@9fa6842f4696 liu]# ls
luochuruan

[root@localhost ~]# docker exec -it lq2 /bin/bash 
[root@5cc394c91a18 /]# cd liu/
[root@5cc394c91a18 liu]# ls  ##在lq1上查看
luochuruan

可以多次使用–volumes-from参数来从多个容器挂载多个数据卷。还可以从其他已挂载了容器卷的容器来挂载数据卷：

[root@localhost ~]# docker run -d --name lq3 --volumes-from lq2 best2001/httpd:v0.1
dcf888c3ad6320b71932fa5d249e7d11b1383363cb1954406d41f0fdc23a1f15
[root@localhost ~]# docker exec -it lq3 /bin/bash
[root@dcf888c3ad63 /]# cd liu/
[root@dcf888c3ad63 liu]# ls
luochuruan

使用–volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。

如果删除了挂载的容器（包括liu、lq1和lq2），数据卷并不会被自动删除。如果要删除一个数据卷，必须在删除最后一个还挂载着它的容器时显式使用docker rm -v命令来指定同时删除关联的容器。

创建nginx容器

需要同时提供配置文件和网页文件

[root@localhost conf]# docker cp nginx:/usr/local/nginx/conf .  ##将配置文件复制到当前目录
[root@localhost ~]# mkdir config
[root@localhost config]# ls
conf  html
[root@localhost conf]# ls
fastcgi.conf            koi-win             scgi_params
fastcgi.conf.default    mime.types          scgi_params.default
fastcgi_params          mime.types.default  uwsgi_params
fastcgi_params.default  nginx.conf          uwsgi_params.default
koi-utf                 nginx.conf.default  win-utf

[root@localhost config]# mkdir html/test
[root@localhost config]# echo "hello nginx!" > /root/config/html/test/index.html
[root@localhost config]# cd html/
[root@localhost html]# ls
css  img  index.html  js  test

nginx配置文件配置虚拟主机

[root@localhost config]# vim conf/nginx.conf
·····省略部分······
    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }
    }
    server {
        listen       8080;
        server_name  test.example.com;

        location / {
            root html/test;
            index index.html index.htm;
        }
····省略部分····

运行一个容器，将宿主机的html目录文件映射nginx的相应位置

[root@localhost ~]# docker run -it --name nginx2 -v /root/config/html:/usr/local/nginx/html busybox
Unable to find image 'busybox:latest' locally
latest: Pulling from library/busybox
3aab638df1a9: Pull complete 
Digest: sha256:52817dece4cfe26f581c834d27a8e1bcc82194f914afe6d50afad5a101234ef1
Status: Downloaded newer image for busybox:latest
/ # ls /usr/local/nginx/html/
css         img         index.html  js          test

运行一个nginx容器n1，将宿主机的conf目录文件映射到nginx的相应位置,同时需要使用–volumes-from 来挂载b1的映射的数据卷

[root@localhost conf]# docker run -itd --name nginx1 -p 80:80 -p 8080:8080 -v /root/config/conf:/usr/local/nginx/conf --volumes-from nginx best2001/nginx:v0.3
5a3585c58381c5bcee7e7474970d5d7d400c3893cb91c278def66f61bf148fc5
[root@localhost conf]# ss -antl
State    Recv-Q   Send-Q     Local Address:Port     Peer Address:Port   Process   
LISTEN   0        128              0.0.0.0:80            0.0.0.0:*                
LISTEN   0        128              0.0.0.0:8080          0.0.0.0:*                
LISTEN   0        128              0.0.0.0:22            0.0.0.0:*         

不同端口在浏览器进行访问

192.168.240.40:80

192.168.240.40:8080

利用数据卷容器迁移数据

可以利用数据卷容器对其中的数据卷进行备份、恢复，以实现数据的迁移。

备份
使用下面的命令来备份/etc/httpd24数据卷容器内的数据卷：

[root@localhost ~]# docker run --name worker --volumes-from lq -v $(pwd):/backup best2001/httpd:v0.1 tar zcf /backup/backup.tar.gz /etc/httpd24
tar: Removing leading `/' from member names
[root@localhost ~]# ls
anaconda-ks.cfg  backup.tar.gz  liu  test
[root@localhost ~]# mv backup.tar.gz test/
[root@localhost ~]# cd test/
[root@localhost test]# tar xf backup.tar.gz 
[root@localhost test]# cd etc/
[root@localhost etc]# ls
httpd24
[root@localhost etc]# cd httpd24/
[root@localhost httpd24]# ls
extra  httpd.conf  magic  mime.types  original

这个命令稍微有点复杂，具体分析下。
首先利用centos镜像创建了一个容器worker。使用–volumes-from dbdata参数来让worker容器挂载dbdata容器的数据卷（即/etc/httpd24数据卷）；使用-v $(pwd):/backup参数来挂载本地的当前目录到worker容器的/backup目录。
worker容器启动后，使用了tar cvf /backup/backup.tar /dbdata命令来将/etc/httpd24下内容备份为容器内的/backup/backup.tar，即宿主主机当前目录下的backup.tar。

恢复
如果要恢复数据到一个容器，可以按照下面的操作。首先创建一个带有数据卷的容器testdata：

[root@localhost ~]# docker run -it --name testdata -v /etc/httpd24 centos /bin/bash
[root@def078a98012 /]# ls /etc/httpd24/
[root@def078a98012 /]# 

然后创建另一个新的容器，挂载testdata容器，并使用untar解压备份文件到所挂载的容器卷中即可：

[root@localhost test]# docker run -it --volumes-from testdata -v $(pwd):/backup centos tar xf /backup/backup.tar.gz
[root@localhost test]#

##进入testdata容器查看
[root@def078a98012 /]# ls /etc/httpd24/
extra  httpd.conf  magic  mime.types  original