今天早晨9点左右，手机app收到邮件报警，打开一看，提示某个ip上的站点访问异常，

尝试ssh连接，发现非常慢。无法正常连接上去。一会后能正常连接上去，但是延迟很高，基本上无法操作。

       更换一下ssh方式，通过相同内网的其他机器ssh登陆后，发现正常。PS:其实在这里的时候就应该可以初步断定是外网网络的问题了。

       top查看，cpu，内存正常，netstat查看web连接数，并发数300左右。对于apache+php+mysql的站点来说，这样的并发毫无压力。io也正常。

       停止httpd服务，网络恢复正常。PS:在这里判断就出了问题，以为是httpd的问题。然后在apache 上面浪费了很多时间。而且没有发现一丝的日志相关报错记录。

       开启httpd服务，过了几秒后，延迟升高，网站访问很慢，加载php完全无法。

PS：在这里的时候，又误判是php的问题。其实php加载及读取相关数据都是需要比较大的带宽。

尝试httpd不加载php，延迟正常。

      在这里要铭记云供应商ustack的相关人员。在请求ustack那边帮忙查看他们的网络时候，他们给出了网络正常的回复。

        接下来，是不断的尝试。从快照从新建主机并切换IP过去，还是异常。

PS:其实在这时候基本就排除了程序和apache，php的问题。因为快照是前天时候刚刚从正常的机器上做的快照。

        后面，在网站延迟很高的情况下， 通过内网curl网站，发现是正常状态。。。这里就断定必定是外网IP的问题。随后用内网的window机器再次访问web网站确认，内网访问一切正常。

        在已经确定了情况后， 和ustack的人员沟通， 依然回复我们，网络一切正常，请自行排查。

        最后的几分钟，就是更换外网IP，修改dns解析，等解析生效后，访问正常。

 

后记：定位问题太慢，有点怀疑自己的判断。