一、问题背景
在客户处服务器上(CentOS7.6)上用docker部署一个服务,不管是使用docker的二进制包还是直接yum安装,就是死活起不来,执行systemctl start docker 启动卡住不动,另开一个窗口可以看到docker进程。
docker ps,docker images等都是卡住,strace发现都是卡住在网络等待,排查docker daemon日志没有发现可疑点或者有异常日志但随着异常日志排查并没有解决问题,重装docker,重启设备未解决问题。
一度以为是什么操作系统内核版本bug,但是找了一台相同版本的云主机,启动毫无问题。
二、问题排查
找一台docker正常运行的机器进行对比排查,以期能够找到问题点。
正常机器 systemctl status docker 结果如下:
异常机器 systemctl status docker 结果如下:
很显然异常机器多了一条:
/usr/sbin/iptables --wait -t nat -D PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
ps查看,就是iptables卡死(处于D状态):
# ps aux | grep iptables
据此,基本得出是iptables卡住导致docker卡住,这是docker启动过程中要建立iptables策略为后续docker网络做准备,这个过程失败导致卡住。
看上面的意思,nat策略创建夯住了,无法nat,那docker还玩啥!
三、解决方法
iptables不能创建,基本上可以猜测是安全策略导致的,跟操作系统镜像有关,可能做了相关的安全加固。
咨询相关人员解决即可,比如我这里是将/etc/modprobe.d/目录下iptables和nat相关黑名单放开就可以了。
# ll /etc/modprobe.d/
# cat /etc/modprobe.d/blacklist.conf
iptabes卡住,在docker启动日志和调试日志中看不到相关的日志,浪费大量时间排查。
/etc/modprobe.d/ 目录下文件相关功能,需多查看点文档,熟悉一下内核模块加载与屏蔽。
四、参考
安装docker18.09.6后,无法启动
https://www.it610.com/article/1290967739489394688.htm
Linux中升级更新命令yum upgrade和yum update的区别
https://zhidao.baidu.com/question/1436001668988118579.html?qq-pf-to=pcqq.group
systemctl start docker一直卡住排查
https://blog.csdn.net/u012500825/article/details/102924754
Kernel module (简体中文)
https://wiki.archlinux.org/index.php/Kernel_module_(%E7%AE%80%E4%BD%93%E4%B8%AD%E6%96%87)
How do I prevent a kernel module from loading automatically?
https://access.redhat.com/solutions/41278
How to blacklist kernel modules?
https://askubuntu.com/questions/110341/how-to-blacklist-kernel-modules
What is the difference between /etc/modules and /etc/modprobe.d/?
https://askubuntu.com/questions/1024777/what-is-the-difference-between-etc-modules-and-etc-modprobe-d
https://unix.stackexchange.com/questions/75631/excluding-kernel-modules-through-etc-modprobe-d-blacklist-conf-does-not-work
strace命令
https://www.cnblogs.com/duanxz/p/6012768.html
强大的strace命令用法详解
https://blog.csdn.net/cs729298/article/details/81906375
https://www.cnblogs.com/machangwei-8/p/10388883.html
Linux进程照妖镜strace命令
https://zhuanlan.zhihu.com/p/69527356