事故背景
公司最近安排了一波商品抢购活动，由于后台小哥操作失误最终导致活动效果差，被用户和代理商投诉了。经理让我带同事们一起复盘这次线上事故。
什么原因造成的？
抢购活动计划是零点准时开始，
22：00 运营人员通过后台将商品上线
23：00后台小哥已经将商品导入缓存中，提前预热
抢购开始的瞬间流量非常大，按计划是通过Redis承担大部分用户查询请求，避免请求全部落在数据库上。
如上图预期大部分请求会命中缓存，但是由于后台小哥预热缓存的时候将所有商品的缓存时间都设置为2小时过期，所有的商品在同一个时间点全部失效，瞬间所有的请求都落在数据库上，导致数据库扛不住压力崩溃，用户所有的请求都超时报错。
实际上所有的请求都直接落到数据库，如下图：
什么时候发现的？
凌晨01:02 SRE 收到系统告警，登录运维管理系统发现数据库节点 CPU和内存飙升超过阈值，迅速联系后台开发人员定位排查。
最低0.47元/天 解锁文章
634
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
