CentOS7下Docker Storage Pool扩容

前言：在docker刚起步的时候，RHEL的内核并不支持AUFS作为docker的后端存储而将移植工作推迟。后来，红帽和docker合作开发一种基于Device Mapper技术的后端存储框架，也就是现在的device-mapper插件。

##问题
systemctl start docker.service 提示启动失败。

##分析
使用命令查看docker启动日志：

➜  # journalctl -xe

发现docker-pool容量不足，不能继续分配新的空间，错误信息如下：

 Insufficient Free Extents for a docker-pool

由于centos上的docker使用存储池，也就是基于LVM的块系统，所以只要增加docker-pool的容量就可以解决问题了。

##收集证据

不看日志不行，比如有没有闲置的硬盘？物理卷挂在哪个硬盘？卷组挂在那个物理卷上？逻辑卷各自有多大？

查看磁盘容量：

➜  # df -h
➜  # fdisk -l

查看物理卷(pv)信息：

➜  # pvscan

查看卷组(vg)信息：

➜  # vgdisplay

查看逻辑卷(lv)信息：

➜  # lvdisplay

##解决问题

• 查看卷组(vg)的使用和卷组的物理卷(PV)的情况：

➜  # pvs -o+pv_used

发现sdc确没有剩余空间了，查询结果如下：

➜  # pvs -o+pv_used
  PV         VG         Fmt  Attr PSize   PFree Used    
  /dev/sdc2  VolGroup00 lvm2 a--  558.69g    0   558.69g

• 新加一块硬盘就解决问题了。就怕没有新硬盘，需要重新划分区，move物理卷。

1. fdisk /dev/sde；
2. 创建主分区和扩展分区都行；
3. 创建逻辑分区；这里有个坑，不创建逻辑分区是无法格式化硬盘的，格不了硬盘，pvcreate会报错。
4. 格式化逻辑分区 mkfs.ext3 /dev/sde2；

• 创建物理卷

➜  # pvcreate /dev/sde2

• 为卷组VolGroup00添加新的物理卷sde2来增大卷组的容量

➜  # vgextend VolGroup00 /dev/sde2

• 用vg里新增的空间扩展LVM逻辑卷(lv)的大小

➜  # lvextend -L +1T /dev/VolGroup00/docker-pool

• 重启电脑，使划分生效，比较暴力好用(软刷新使用resizefs2)。

resize2fs   /dev/VolGroup00/docker-pool

很不幸，执行resize2fs时报错了。直接reboot解决问题。

• 最后一步重启docker服务

systemctl start docker.service

终于要见到佛祖了，想想心里还有些小激动～～

然而启动又失败了，第一件事是做什么，还不赶紧看看日志！

journalctl -xe

发现172.17.0.1这个ip无法bind, 看了看网卡，日，docker0的虚拟net-card没了。
这里不卖关子了，大部分情况是/var/lib/docker下的配置出错了，解决方案有两种：

1. 创建docker用户组，保证用户有足够的权限运行docker。

   	sudo usermod -aG docker $(whoami)
   

2. 简单暴力我喜欢的方法，直接删掉/var/lib/docker，相当于重置docker的运行配置，重启解决问题。（友情提示：删除之前要备份，文件再拷贝过去就可以正常用了）

   	sudo service docker stop
   	sudo rm -rf /var/lib/docker
   	sudo service docker start 
   

3. 一切都平静了，去喝杯咖啡。

   	➜  # docker info
   	Containers: 37
   	Running: 5
   	Paused: 0
   	Stopped: 32
   	Images: 365
   	Server Version: 1.10.3
   	Storage Driver: devicemapper
   	Pool Name: VolGroup00-docker--pool
   	Pool Blocksize: 524.3 kB
   	Base Device Size: 107.4 GB
   	Backing Filesystem: xfs
   	Data file: 
   	Metadata file: 
   	Data Space Used: 263.7 GB
   	Data Space Total: 1.388 TB
   	Data Space Available: 1.124 TB
   	Metadata Space Used: 35.59 MB
   	Metadata Space Total: 604 MB
   	Metadata Space Available: 568.4 MB
   	Udev Sync Supported: true
   	Deferred Removal Enabled: true
   	Deferred Deletion Enabled: false
   	Deferred Deleted Device Count: 0
   	Library Version: 1.02.107-RHEL7 (2016-06-09)
   	Execution Driver: native-0.2
   	Logging Driver: json-file
   	Plugins: 
   	Volume: local
   	Network: bridge null host
   	Kernel Version: 3.10.0-327.36.3.el7.x86_64
   	Operating System: CentOS Linux 7 (Core)
   	OSType: linux
   	Architecture: x86_64
   	Number of Docker Hooks: 2
   	CPUs: 24
   	Total Memory: 251.7 GiB
   	Name: localhost.localdomain
   	ID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
   	WARNING: bridge-nf-call-iptables is disabled
   	WARNING: bridge-nf-call-ip6tables is disabled
   	Registries: 190087c6.m.daocloud.io (secure), docker.io (secure
   

---

docker storage pool再多说几句。因为是基于LVM的，所以镜像和容器都在块系统中，也就是VolGroup00这个池子里。/var/lib/docker主要存储的是镜像和容器的配置文件和device-mapper映射文件等，所以这个目录不会太大。