CentOS/RHEL配置 direct-lvm 给 devicemapper

导读：
通过fdisk，pv，vg，lv逻辑卷，然后在/etc/docker/daemon.json中配置docker的驱动参数等，将 direct-lvm配置给devicemapper

http://blog.51cto.com/nosmoking/1881033

一、简介

Devicemapper作为graphdriver的docker中，容器镜像之间架构如下

 

 

Devicemapper的两个不同模式loop-lvm和direct-lvm区别就在于如何创建最底层的thin-pool

direct-lvm模式采用了LVM来创建thin-pool

      LVM是 Logical VolumeManager（逻辑卷管理）的简写，它是Linux环境下对磁盘分区进行管理的一种机制，它由Heinz Mauelshagen在Linux2.4内核上实现，基于device mapper，目前最新版本为：稳定版1.0.5，开发版1.1.0-rc2，以及LVM2开发版。Linux用户安装Linux操作系统时遇到的一个常见的难以决定的问题就是如何正确地评估各分区大小，以分配合适的硬盘空间。普通的磁盘分区管理方式在逻辑分区划分好之后就无法改变其大小，当一个逻辑分区存放不下某个文件时，这个文件因为受上层文件系统的限制，也不能跨越多个分区来存放，所以也不能同时放到别的磁盘上。而遇到出现某个分区空间耗尽时，解决的方法通常是使用符号链接，或者使用调整分区大小的工具，但这只是暂时解决办法，没有从根本上解决问题。随着Linux的逻辑卷管理功能的出现，这些问题都迎刃而解，用户在无需停机的情况下可以方便地调整各个分区大小。

配置环境：

centos 7

docker 1.12

 

配置步骤：

1.停止 docker daemon（root）

#>  systemctl stop docker

2.创建相关逻辑卷以及 thinpool（root）

(1).分配磁盘

分配磁盘予服务器，利用 fdisk 进行分区。

(2).创建 PV

例如：已分配磁盘 /dev/sdb1

#> pvcreate /dev/sdb1

(3).创建 VG

#> vgcreate dockervg /dev/sdb1

(4).创建 thinpool 逻辑卷

#>  lvcreate --wipesignatures y -n thinpool -l 50%VG dockervg

lvcreate --wipesignatures y -n thinpoolmeta -l 1%VG dockervg

可通过如下命令检验

#> lvscan

(5).转换成 thinpool

#> lvconvert -y --zero n -c 512K --thinpool dockervg/thinpool --poolmetadata dockervg/thinpoolmeta

输出结果类似如下。

可以通过如下命令查看 thinpool 状态

#>  lvs -o lv_name,data_percent,metadata_percent,lv_size,lv_metadata_size,data_lv,metadata_lv

输出结果类似如下。

注意：其中 LSize 即为 Data 的空间大小， Msize 即为 MetaData 的空间大小， Data 为 Data 对应逻辑卷， Meta 为 MetaData 对应逻辑卷。

(6).扩展 thinpool（选做）

该步骤选做，用于 MetaData 或 Data 空间不足时的扩容。

例如：MetaData 对应逻辑卷路径为 /dev/mapper/dockervg-thinpool_tmeta，则扩容命令如下。

#>  lvresize -L +1G /dev/mapper/dockervg-thinpool_tmeta

例如：thinpool 整体对应逻辑卷路径为 dockervg-thinpool，则扩容命令如下。

#>  lvresize -L +5G /dev/mapper/dockervg-thinpool

3.备份并删除 Docker 存储目录（root）

(1).备份

#>  mkdir /var/lib/docker.bk

mv /var/lib/docker/* /var/lib/docker.bk

(2).删除原存储目录

#> rm -rf /var/lib/docker/*

4.修改 Docker 启动参数并启动（root）

修改 daemon.json 配置文件
#> vi /etc/docker/daemon.json
修改为如下内容。
{
  "storage-driver": "devicemapper",
   "storage-opts": [
     "dm.thinpooldev=/dev/mapper/dockervg-thinpool",
     "dm.use_deferred_removal=true",
     "dm.use_deferred_deletion=true",

     "dm.basesize=25G"
   ]
}

注意：dm.basesize 指定了 images 以及 container 可以扩展到的 最大空间。

5.重启 Docker 服务（root）

#> systemctl daemon-reload

systemctl start docker

6.验证（root）

a.docker info 检查

#> docker info

结果类似如下。

其中，方框内信息表明以使用了 direct_lvm 的 Docker 存储模式，同时 images 以及 container 可以扩展到的 最大空间已修改所需大小。

b.试运行 hello-world

#>  docker pull hello-world

docker run hello-world

结果类似如下，即表明运行正常。

 

参考资料：

https://docs.docker.com/engine/userguide/storagedriver/device-mapper-driver/#configure-direct-lvm-mode-for-production