美信君:运维经理很上火,故障如何快速查?
图片来自网络
某公司IT运维张经理非常头疼,每天都像救火队员一样在这样的事情中奔波,这是来自于他的自述……
“一次正好赶上公司年中大促,也是一年里冲业绩的关键一周。结果关键业务的交易系统出现了运行缓慢,部分业务在系统交易时候出现卡顿、无法登陆的现象。这种情况发生以后,业务线上的每个人都像炸开了锅。在此之前,我们为了保障业务系统正常运行已经做了充分的准备,但是没想到还是出现了这样的状况,我们的压力可想而知。我们运维人员马不停蹄地开始排查,查资源使用情况、网络环境情况、中间件是否正常、服务是否正常、日志是否报错、交易数据还有没有……时间不知不觉的在敲键盘、敲键盘、敲键盘中过去,但是原因还未定位。
总经理也过来了解情况,业务部门一直在催促,我们饭也顾不上吃。最终,折腾了一天以后,定位到问题原因是其中一个功能没有控制返回数量,导致内存泄露。
伴随公司数字化转型和业务规模化发展,设备量实现指数型增长。几年的时间,服务器就从几百台增加到5000千台。虽然技术已经不可同日而语,我们几十人的IT支持团队,每天仍然应接不暇地需要处理各种稀奇古怪的情况。
因此我们需要一个良好的监控系统,可以让我们快速地发现并定位问题,减少宕机时间,提高故障处理