最近换了新工作,来到这边不久,碰到一个很诡异的问题,LVS+keepalived总是出现问题,不定时的跳到nginx的欢迎界面,好吧,这个问题确实很神奇。

  排查思路:

    1、先将一台网站服务器单独运行,保证网站正常访问;

    2、检查nginx配置,检查完毕没有问题;

    3、检查ipvs服务器是否正常,检查完毕,正常;

    4、关闭web服务,访问VIP依然跳转nginx欢迎页面;

    5、检查keepalived配置,检查完毕,正常,但是重启keepalived后,网站恢复正常,继续观察后又出现问题;

    6、重新安装高版本的keepalived,完成后网站跑了2天左右,问题又一次出现;

    7、因为是在虚拟机里做的系统,所以怀疑是网卡的问题,重新添加网卡,问题依旧;

    9、大招:所有全部删掉,重新做系统,安装软件,完成后问题依然存在;

    10、关闭后端web服务关闭keepalived的master以及backup,访问vip,依然跳转nginx欢迎界面,现在在lvs的master和slave上面都没有绑定vip,所以怀疑是IP地址被别的机器占用;

    11、ping vip,竟然是通的,跟同事沟通,此IP以前被分配到一台服务器上,后来服务器已经关掉,经检查,被关掉的服务器不知何时被开启。

    12、由于那台单独的服务器已经不需公网IP,所以删除外网网卡。

    13、重新启动keepalived,nginx,至此问题解决。


  这个问题出现的根本原因还是运维人员管理不到为,运维流程不规范,没有建立完整的规范的运维制度,开发人员权限过大,对服务器账号密码管理不严格,连vSphere控制台的密码都知道,开启已经不用的服务器,另一个对于ip分配没有规范的记录。看来今后的路很漫长啊!