前言:在docker刚起步的时候,RHEL的内核并不支持AUFS作为docker的后端存储而将移植工作推迟。后来,红帽和docker合作开发一种基于Device Mapper技术的后端存储框架,也就是现在的device-mapper插件。
##问题
systemctl start docker.service 提示启动失败。
##分析
使用命令查看docker启动日志:
➜ # journalctl -xe
发现docker-pool容量不足,不能继续分配新的空间,错误信息如下:
Insufficient Free Extents for a docker-pool
由于centos上的docker使用存储池,也就是基于LVM的块系统,所以只要增加docker-pool的容量就可以解决问题了。
##收集证据
不看日志不行,比如有没有闲置的硬盘?物理卷挂在哪个硬盘?卷组挂在那个物理卷上?逻辑卷各自有多大?
查看磁盘容量:
➜ # df -h
➜ # fdisk -l
查看物理卷(pv)信息:
➜ # pvscan
查看卷组(vg)信息:
➜ # vgdisplay
查看逻辑卷(lv)信息:
➜ # lvdisplay
##解决问题
- 查看卷组(vg)的使用和卷组的物理卷(PV)的情况:
➜ # pvs -o+pv_used
发现sdc确没有剩余空间了,查询结果如下:
➜ # pvs -o+pv_used
PV VG Fmt Attr PSize PFree Used
/dev/sdc2 VolGroup00 lvm2 a-- 558.69g 0 558.69g
- 新加一块硬盘就解决问题了。就怕没有新硬盘,需要重新划分区,move物理卷。
- fdisk /dev/sde;
- 创建主分区和扩展分区都行;
- 创建逻辑分区;这里有个坑,不创建逻辑分区是无法格式化硬盘的,格不了硬盘,pvcreate会报错。
- 格式化逻辑分区 mkfs.ext3 /dev/sde2;
- 创建物理卷
➜ # pvcreate /dev/sde2
- 为卷组VolGroup00添加新的物理卷sde2来增大卷组的容量
➜ # vgextend VolGroup00 /dev/sde2
- 用vg里新增的空间扩展LVM逻辑卷(lv)的大小
➜ # lvextend -L +1T /dev/VolGroup00/docker-pool
- 重启电脑,使划分生效,比较暴力好用(软刷新使用resizefs2)。
resize2fs /dev/VolGroup00/docker-pool
很不幸,执行resize2fs时报错了。直接reboot解决问题。
- 最后一步重启docker服务
systemctl start docker.service
终于要见到佛祖了,想想心里还有些小激动~~
然而启动又失败了,第一件事是做什么,还不赶紧看看日志!
journalctl -xe
发现172.17.0.1这个ip无法bind, 看了看网卡,日,docker0的虚拟net-card没了。
这里不卖关子了,大部分情况是/var/lib/docker下的配置出错了,解决方案有两种:
-
创建docker用户组,保证用户有足够的权限运行docker。
sudo usermod -aG docker $(whoami)
-
简单暴力我喜欢的方法,直接删掉/var/lib/docker,相当于重置docker的运行配置,重启解决问题。(友情提示:删除之前要备份,文件再拷贝过去就可以正常用了)
sudo service docker stop sudo rm -rf /var/lib/docker sudo service docker start
-
一切都平静了,去喝杯咖啡。
➜ # docker info Containers: 37 Running: 5 Paused: 0 Stopped: 32 Images: 365 Server Version: 1.10.3 Storage Driver: devicemapper Pool Name: VolGroup00-docker--pool Pool Blocksize: 524.3 kB Base Device Size: 107.4 GB Backing Filesystem: xfs Data file: Metadata file: Data Space Used: 263.7 GB Data Space Total: 1.388 TB Data Space Available: 1.124 TB Metadata Space Used: 35.59 MB Metadata Space Total: 604 MB Metadata Space Available: 568.4 MB Udev Sync Supported: true Deferred Removal Enabled: true Deferred Deletion Enabled: false Deferred Deleted Device Count: 0 Library Version: 1.02.107-RHEL7 (2016-06-09) Execution Driver: native-0.2 Logging Driver: json-file Plugins: Volume: local Network: bridge null host Kernel Version: 3.10.0-327.36.3.el7.x86_64 Operating System: CentOS Linux 7 (Core) OSType: linux Architecture: x86_64 Number of Docker Hooks: 2 CPUs: 24 Total Memory: 251.7 GiB Name: localhost.localdomain ID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx WARNING: bridge-nf-call-iptables is disabled WARNING: bridge-nf-call-ip6tables is disabled Registries: 190087c6.m.daocloud.io (secure), docker.io (secure
docker storage pool再多说几句。因为是基于LVM的,所以镜像和容器都在块系统中,也就是VolGroup00这个池子里。/var/lib/docker主要存储的是镜像和容器的配置文件和device-mapper映射文件等,所以这个目录不会太大。