Docker /var/lib/docker/overlay2占用过大问题解决

 问题描述

        公司服务器在运行过程中发现使用docker部署的服务，在运行一段时间后就出现服务突然挂掉的情况，但是进入服务器，发现容器是正常运行的，服务器系统也是正常运行的。

        通过排查以及查阅资料发现，是由于docker默认安装的RootDir目录是在var分区，而var分区在系统安装的时候只分配了100G的容量，由于目前公司使用的是gitlab ci/cd工具对所有的项目的前后端实现了自动部署，所以每一次部署都会产生新的镜像和容器以及docker相关的日志文件和系统文件都会保存在此目录中，导致此目录已用容量一直会不断增大，目前通过清理发现，就目前正在使用的镜像和容器和相关文件大小至少需要80G左右的存储空间。随着公司项目的增多，这个分区的容量显然已经不够用了。

 解决思路

        目前能想到的解决方案有两个：

1. 给var分区扩容

2. 更换RootDir的分区

        通过查阅资料以及以往的经验来说，分区扩容这个操作相对更换RootDir的操作风险性大更高，更换Docker的RootDir分区相对来说风险性较小，而且对于切换RootDir网上有很多相关资料和成熟方案；所以采用第二种方案。

 具体步骤

1. 停止docker服务

systemctl stop docker

如果出现提示

Warning: Stopping docker.service, but it can still be activated by: docker.socket

则需要通过停止 docker.socket 来停止docker

systemctl stop docker.socket

后续启动的话也需要执行命令来启动docker,我本机启动第一条命令也可以。

systemctl start docker.socket
systemctl start docker

2. 创建新的RootDir目录

由于目前home分区最大6.6T，所以暂定放在home目录下

mkdir -p /home/docker-rootdir/

3. 同步数据

#cp命令或者mv命令也可以，rsync更安全
rsync -avz /var/lib/docker/ /home/docker-rootdir/

4. 配置Docker的root_dir

修改、etc/docker/daemon.json,添加如下内容：

"graph": "/home/docker-rootdir"

此处还有好多种方式，比如dokcer.service启动命令添加启动项等等，但是个人觉得使用配置文件的方式更安全，也方面其他运维人员可以方面的看到配置。

5. 更新配置,重启docker

重新加载配置

systemctl daemon-reload

重启docker

systemctl restart docker

如果重启不生效，在停止的时候停止的是docker.socket则使用如下命令重启

systemctl start docker.socket

6. 查看是否配置成功

docker info | grep "Root Dir"

如何显示的已经是更换后的目录则说明切换成功。 

7. 测试 

查看镜像是否完整，容器是否能够正常启动.