最近部署应用时候,在删除原容器会出现问题,信息如下:
Error response from daemon: driver "overlay" failed to remove root filesystem for 4dd0d7932970436cfc4db86169f664394868a001510ea36803f9b8a543f08613: remove /var/lib/docker/overlay/3e73e3a6d237064440036da96e72a38142215a39f43357a4b192680a23954ceb/merged: device or resource busy
根据网上方法是找出mountinfo所在的进程,但是我看了进程号对应的是nginx,按网上说法是kill -9 进程号,这样nginx就会被kill,后来尝试使用sytem restart nginx方式,也能删除dead容器。
至于为什么会和nginx有关,这是因为Mount namespace问题。通过cat /usr/lib/systemd/system/nginx.service查看内容
[service]
PrivateTmp=true
这个表示nginx拥有私有挂载点空间,mount namesapces。docker的容器镜像实例有挂载点泄漏的问题,导致了docker无法删除被nginx mount的文件夹。
解决的办法添加
[service]
MountFlags=slave
重启docker systemctl restart docker
挂载点泄漏是内核3.10的bug,在后续内核版本得到修复,可以通过升级内核。
如何发现nginx挂载泄漏点通过如下命令
grep devicemapper/mnt /proc/<nginx-master-pid>/mounts
systemctl status nginx |grep PID