zabbix告警
- 告警中,当提示机房间链路丢包,延迟增大、down机等问题登陆相应设备进行双向MTR。
- 把得到的双向MTR截图直接发给涉及的机房故障群(组),@相关技术可以提高回应速度。
- MTR上会显示丢包、延迟增大、不通的节点ip,查询该ip的归属,如果双向MTR内事故ip都属于同一地市,那么要着重跟进该机房。
- 当查询出故障归属地市后,群内无反应,及时拨打该机房24小时值班人员电话。并告知其情况,表明在该ip节点有故障。
故障点不在骨干链路上
- 当服务器mtr对端时从第一跳开始就丢包(第一跳为交换机),那么服务器ping交换机ip查看是否确实丢包。服务器默认网关的ip为交换机ip地址。
- 如果ping交换机都丢包,要及时打电话给网络组成员,可能是光纤模块引起的故障。
- 如果MTR第二条丢包严重,初步判断为机房设备问题(包括代理商),可直接向机房人员说明。
保证业务不受影响
- 当联系机房后,被告知故障无法及时恢复,应及时切走业务流量。
- 遇到无法及时处理的情况,联系网络组。
- 当故障较多时无法一人处理,联系网络组处理网络故障。
故障恢复
- 如果故障具有持续性、间接性、物理因素引发的故障,不要恢复使用。
- 如果故障已经确保恢复,MTR、ping、wget均为正常数值可切回流量恢复使用。必要时可通过调整轮询比例方式调整切量大小。
日志故障记录
- 根据zabbix告警记录故障发生时间,根据测试故障结果的时间为故障恢复时间。
- 如果多机房到同一个机房产生故障,大多数为后者故障引起的,所以只记录该机房故障即可。
- 记录时写明值班人员名字,发送邮箱。