海恩法则:大事都是小事积累导致的
墨菲定律:不好的事,该发的一定会发生
早发现、响应快
发现:概率、范围、处理难度
术
设计
AKF扩展术:x:服务无状态、水平复制;y:微服务拆分;z:地域拆分,分库分表
隔离术:局部不影响全局
容灾冗余术
防缓存雪崩术:不同过期时间;定期刷新;多级缓存;加锁资源
预防
压测、故障演练、预案治理sop、风险巡检(日常)
检测
监控:日志、指标、trace
定位排查
修复上线
复盘
统一技术栈——》规范流程+止损手册+排查宝典——》标准化
1、任务拆分:一个大任务分发多个执行器处理,最终汇总结果
2、问题转移:数据库读写慢,试试缓存
3、批量处理:单次单次处理耗时,批量执行
4、数据稽核:保证一致,数据对账,逻辑自洽
5、多线程:注意线程合理性,不然cpu高,服务拉垮了