自从采用分布式架构之后,公司所有开发的服务全部部署到docker容器中,问题开始出始了。
每台服务器上部署了60+ docker,都运行着tomcat,每天晚上11点钟到凌晨1点钟之间,服务器上的docker守护进程就是挂掉,随之所有的容器也会停掉,所有的应用都无法访问,每天一至公司第一件事就是重启docker服务。
每台服务器上部署了60+ docker,都运行着tomcat,每天晚上11点钟到凌晨1点钟之间,服务器上的docker守护进程就是挂掉,随之所有的容器也会停掉,所有的应用都无法访问,每天一至公司第一件事就是重启docker服务。
可这种事情一而再,再而三的出现了,开发人员不断地抱怨,我也很郁闷,总不能像当年淘宝初期一样,专职人员晚上待在机房,隔几个小时查看一下服务器,如果出了问题就重启服务吧。
领导很生气,后果很严重,必须在一天之内找到问题的原因并给出解决方案。
使用journalctl -u docker查看了docker运行日志,发现出现了很多Error unmounting device,查了下,感觉没多大关系,关键也没查出什么头绪。
紧接着查看了一下zabbix监控数据,cpu,内存,网络访问都很正常。
再查了一下系统配置,也没有发现有定时任务。
好吧,既然没找到外部因素,那就有可能是docker本身的问题了。
首先觉得docker不稳定,必须升级docker服务,那就将docker从目前的1.8.2升级到1.9.1。
但这也只是一方面,如果升级后第二天docker还是挂了怎么办,灵机一动,就自己写个定时任务,每隔5分钟检测一下docker服务进程,如果服务已退出就启动docker服务,并启动该机器上所有的docker容器。
1. shell脚本(startDocker.sh)检测docker服务,如