昨天服务器宕机问题总结

昨天脆弱的系统又宕机了。本来上午好好的，但是中午12点多，业务群内就开始不停的@了，然后电话就接连不断的打过来，说有业务要做，但是系统访问不了了。我进入服务器，敲命令，不管用，一直在卡。我就找到运维大哥，让他把服务器重启一下，同时我打开预生产服务，发送预生产地址，告诉业务员，先用这个地址做业务。运维大哥重启完毕后，我就开始启动zookpper和服务、tomcat。zookpper和服务都启动正常，但是tomcat死活起不来，也不报错，就卡在jvm解析类的一行日志里，然后我就把tomcat给kill了，然后再重启，还是同样的问题。运维大哥过来说，可以了吗，我说，tomcat起不来了，他说，你起来，我来试试。结果还是不行。（预生产有个和付款功能是因为和银行对接的，预生产没有安装，银行前置机所需环境，所以，无法使用）运维大哥说，这不行了，我真没招了，你找下领导吧，我就给我们总监发了个微信，然后就开始想下一步了。我想这个tomcat既然起不来，那我就再装一个tomcat（之前的tomcat是7.多版本的）于是我就下载了个tomcat8版本，然后把7下面的war包都放到8下面然后启动8，但是之前7下面war包放的东西比较多，有微信和app还有其他的子项目。启动8也没起来，这次报错了，错误是：jvm内存不足。这样肯定是之前7配置的东西8没配置，于是我照着7下面的配置文件修改了一下8的配置，然后重启，启动成功。再访问，还是访问不到，然后我想起之前有个nginx的映射，就加了个端口号，再访问，没问题，然后公布新地址，再处理tomcat7的问题。公布新地址后发现付款还是不行，我就找个业务员的工号操作了一下，发现访问时报404，但是有这个服务啊，就看了下付款的代码，才想起来，这个付款的接口是单独写的一块，使用的是SpringBoot项目，里面指定的端口是8082.知道这个端口的服务当时是在nginx里面配置了一下然后映射了一下的，然后找到nginx，ps aux|grep nginx 没有任何响应，那现在的问题就肯定是nginx没起，导致付款不可使用。但是nginx 指向的配置，我也不知道在哪，就找我同事过来，他找了一下然后启动nginx（./nginx -s reload）。看了一下说，你又下载了个tomcat吗？我是对啊，他说，为啥不用7了呢，我说，7起不来了。他说，咋会呢，然后启动tomcat.竟然起来了，我去，同样的命令，为啥他能起来呢，他说，肯定是你启动的姿势不正确。终于历经3个小时的抢救，算是把问题都处理完了。其他的问题都可以理解，现在唯一理解不了的就是诡异的tomcat了，太欺负人了。