stream copy error: reading from a closed fifo问题排查

记录一下在客户现场遇到的一个docker服务问题

问题描述

之前启动的docker服务，运行一段时间后，部分服务让杀掉，并且通过docker-compose无法重启成功，查看docker服务日志，报错stream copy error: reading from a closed fifo

排查过程：

1.初步定位是内存不够了，用free -g查看发现内容是够的

2.上网搜了一下，有的博主说是重启docker可以解决，重启docker后发现错误发生变化，之前没起来的服务还起不来，错误变成Failed to allocate network resources for node *****
3.docker服务的网络是默认的，不考虑docker网络的问题，更换stack名字重启依旧不行
4.docker service ps ID/docker service logs ID查看未成功启动服务日志，发现错误日志依旧是stream copy error: reading from a closed fifo
5.最后重启服务器之前，用df -h命令看了一下磁盘，发现/dev/mapper/centosroot磁盘满了

解决方法：

进入到cd /var/log删除一些无用的日志文件，如果当前日志文件较少，可以在根目录利用du -sh查看那些文件夹占的空间大，一般/var文件夹和/root文件夹会占用根磁盘，需要删除这两个文件夹内容