docker基础工作原理（二）

注：以下博文来源于我的独立博客网站：http://www.chenbiaolong.com/，由于原网站是用markdown写的，复制到这边格式有点问题。

在本篇博文中将主要介绍docker使用device mapper管理镜像的原理。这部分内容我也没完全搞懂，以下内容主要是通过参考多篇博文总结出的概要。

loop设备介绍

在类 UNIX 系统里，loop 设备是一种伪设备(pseudo-device)，或者也可以说是仿真设备。它能使我们像块设备一样访问一个文件。
在使用之前，一个 loop 设备必须要和一个文件进行连接。这种结合方式给用户提供了一个替代块特殊文件的接口。因此，如果这个文件包含有一个完整的文件系统，那么这个文件就可以像一个磁盘设备一样被 mount 起来。

loop设备测试实例

1. 首先创建一个 1G 大小的空文件：

1	dd if=/dev/zero of=loopfile.img bs= 1G count= 1

2.对该文件格式化为 ext4 格式：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

# mkfs.ext4 loopfile.img mke2fs 1.41 .11 ( 14-Mar- 2010) loopfile.img is not a block special device. Proceed anyway? (y,n) y Filesystem label= OS type: Linux Block size= 4096 (log= 2) Fragment size= 4096 (log= 2) Stride= 0 blocks, Stripe width= 0 blocks 65536 inodes, 262144 blocks 13107 blocks ( 5.00%) reserved for the super user First data block= 0 Maximum filesystem blocks= 268435456 8 block groups 32768 blocks per group, 32768 fragments per group 8192 inodes per group Superblock backups stored on blocks: 32768, 98304, 163840, 229376 Writing inode tables:done Creating journal ( 8192 blocks): done Writing superblocks and filesystem accounting information:done This filesystem will be automatically checked every 38 mountsor 180 days, whichever comesfirst. Use tune2fs -c or -i tooverride.

用 file 命令查看下格式化后的文件类型：

1 2	# file loopfile.img loopfile.img: Linux rev 1.0 ext4 filesystem data,UUID=a9dfb4a0-6653-4407-ae05-7044d92c1159 (extents) (large files)(huge files)

准备将上面的文件挂载起来：

1 2	# mkdir /mnt/loopback # mount -o loop loopfile.img /mnt/loopback

mount 命令的 -o loop 选项可以将任意一个 loopback 文件系统挂载。上面的 mount 命令实际等价于下面两条命令：

1 2	# losetup /dev/loop0 loopfile.img # mount /dev/loop0 /mnt/loopback

因此实际上，mount -o loop 在内部已经默认的将文件和 /dev/loop0 挂载起来了。然而对于第一种方法(mount -oloop)并不能适用于所有的场景。比如，我们想创建一个硬盘文件，然后对该文件进行分区，接着挂载其中一个子分区，这时就不能用 -oloop 这种方法了。因此必须如下做：

1 2	# losetup /dev/loop1 loopfile.img # fdisk /dev/loop1

卸载挂载点

1	# umount /mnt/loopback

docker存储结构分析

docker中镜像的layer是通过device mapper thin provisioning（自动精简配置）模式实现的。
thin provision是在 kernel3.2 中引入的。它主要有以下一些特点：
（1）允许多个虚拟设备存储在相同的数据卷中，从而达到共享数据，节省空间的目的；
（2）支持任意深度的快照。之前的实现的性能为O(n)，新的实现通过一个单独的数据避免了性能随快照深度的增加而降低。
（3）支持元数据存储到单独的设备上。这样就可以将元数据放到镜像设备或者更快的SSD上。
thin provisioning模式需要两个块设备，一个存储data信息，一个存储metadata信息。设置好这两个块设备之后thin provision可以建立一个存储池（pool）。
具体到docker，docker在/var/lib/docker/devicemapper自动创建两个稀疏文件：data文件（默认100G）和metadata文件（默认2G）。稀疏文件只有在真正往里面存入数据后才会实际占用磁盘空间。这两个文件与2个loop设备进行连接，一般来说data文件关联到/dev/loop0设备，metadata文件关联到/dev/loop1设备。thin provison通过这两个设备建立起一个存储池。可以通过dmsetup table查看存储池信息

1 2 3 4 5

[root@localhost devicemapper]# dmsetup table docker-253 :1-153295518-pool: 0 209715200 thin-pool 7 :1 7 :0 128 32768 1 skip_block_zeroing centos-home: 0 1628528640 linear 8 :3 8161280 centos-swap: 0 8159232 linear 8 :3 2048 centos-root: 0 104857600 linear 8 :3 1636689920

pool的具体信息如下：

1	docker-253 :1-153295518-pool: 0 209715200 thin-pool 7 :1 7 :0 128 32768 1

可以通过dmsetup命令具体分析其table格式：

1 2 3

dmsetup create pool \ --table "0 209715200 thin-pool $metadata_dev $data_dev \ $data_block_size $low_water_mark

这个存储池大小为209715200/2/1024/1024=100G，metadata设备为7：1，在我的电脑中对应/dev/loop1，data设备为7：0 对应/dev/loop0设备。128指data_block_size，它代表一次申请的最小磁盘空间，单位为sector（512字节）。32768是low_water_mark，单位也是sector。当data的实际剩余空间小于这个值时将会触发一个dm event。详细说明请参考官方文档：https://www.kernel.org/doc/Documentation/device-mapper/thin-provisioning.txt

当启动容器后将会从该存储池中分配出10G(默认值)空间创建thin volume，用来存储镜像和容器文件系统的数据。这个过程具体是通过快照(snapshot)实现的。因此同一个镜像可以通过快照被多个容器使用，当容器修改镜像时，通过copy on write实现镜像的修改。
综合来看，docker的存储结构如下图所示

比如创建一个apache容器时devicemapper处理流程如下所示：
1.Create a snapshot of the base device.
2.Mount it and apply the changes in the fedora image.
3.Create a snapshot based on the fedora device.
4.Mount it and apply the changes in the apache image.
5.Create a snapshot based on the apache device.
6.Mount it and use as the root in the new container.
其中base device是所有容器的祖先镜像，在docker中可以具体参考setupBaseImage函数。简单来说base device是一个空的格式化过的设备，其格式只能为xfs或者ext4，大小默认为10G，在docker server端启动时可以通过dm.basesize设定。因为base device是所有的容器的共同祖先镜像，一旦大小设定，在不重新启动docker server时docker无法改变其大小（当然也可以自己手动通过device mapper扩充容量，可以参考使用 Device Mapper来改变Docker容器的大小）

总结

目前只对docker如何使用devicemapper有了大致框架的了解，具体细节还没完全搞懂，后面再根据docker源码详细分析。

参考文章

[1]loop device介绍及losetup使用
[2]http://www.projectatomic.io/docs/filesystems/
[3]http://www.cnblogs.com/feisky/p/4106212.html
[4]https://hustcat.github.io/docker-devicemapper2/
[5]Adventures in Docker land