记录一次容器运行磁盘耗尽故障

故障描述：overlay2耗尽磁盘资源。

排查过程：1、使用du命令找寻大文件，发现找不到异常文件。

                  2、虽然确认不是大文件占用的磁盘，先清理日志：/var/lib/docker/containers/{容器ID}/{容器ID-json.log}

                        使用命令：for i in `find /var/lib/docker -name *-json.log`;do cat /dev/null >$i;done

                  3、怀疑是删除文件后未释放资源导致的：lsof -nP|grep -i deleted。果然查到大量文件状态为deleted

总结：du 统计不到的情况，大概率是磁盘资源未释放。

           命令学习： lsof -nP|grep -i deleted