周五早上两个线上事故爆发,不是偶然性,是潜在的风险爆发了。
1,接口超时,同一个下游多次调用。当时业务迭代太快没有考虑到性能优化
2,代码BUG,这个我比较吐槽的,导致对客户多次处罚。当时又问业务方造成的影响面多少,如果应该严重应该就开城的流量关闭。但是并没有得到回应。直到周五客户集体爆发,然鹅还是不关流量而是催我修Bug。当时忍无可忍喷了一顿,才把流量关闭,减少损失。上线修Bug。晚上12点才修复完成。针对这几次线上事故总结了一下经验:
1>任何策略性的改动一定要通知灰度的城市运营,时刻注意是否增加进线
2>出现任何线上问题首先评估影响面,如果影响严重,立刻关闭流量,止损。修复线上问题。灰度开城,然后同步运营
3>针对此次事件复盘,个人感觉复盘的意义主要在于总结经验,业务优化。而不是相互甩锅。