重磅：阿里云故障时间的调查报告出来了！AK 异常

因公众号更改推送规则，请点“在看”并加“星标”第一时间获取精彩技术分享

点击关注#互联网架构师公众号，领取架构师全套资料 都在这里

0、2T架构师学习资料干货分

上一篇：2T架构师学习资料干货分享

大家好，我是互联网架构师！

今日，2023年11月12日阿里云发给客户的一份「官方故障报告」曝光。

影响范围

1、OSS、OTS、SLS、MNS 等产品的部分服务受到影响，大部分产品如 ECS、RDS、网络等运行不受影响。

2、云产品控制台、管控 API 等功能受到影响。

时间

2023年11月12日17:39～19.20，故障时间为 1 小时 41 分。

问题概况

2023 年 11月 12 日 17:39 起，阿里云云产品控制台访问及管控 API调用出现异常、部分云产品服务访问异常，工程师排查故障原因与访问密钥服务 (AK)异常有关。工程师修订白名单版本后，采取分批重启 AK 服务的措施，于 18:35 开始陆续恢复，19:20 绝大部分 Region 产品控制台和管控 API 恢复。

处理过程

17:39：阿里云云产品控制台访问及管控 API 调用出现异常。

17:50：工程师确认故障是 AK 服务异常导致，影响云产品控制台、管控 API 调用异常，以及依赖 AK 服务的云产品服务运行异常。

18:01：工程师定位到根因。

18:07：开始执行恢复措施，包括修订白名单版本、重启 AK 服务。

18:35：杭州等 Region 开始恢复正常。

19:20：绝大部分 Region 的云产品控制台和管控 API 调用恢复正常。

原因

访问密钥服务 (AK）在读取白名单数据时出现读取异常，因处理读取异常的代码存在逻辑缺陷，生成了一份不完整白名单，导致不在此白名单中的有效请求失败，影响云产品控制台及管控 API 服务出现异常，同时部分依赖 AK 服务的产品因不完整的白名单出现部分服务运行异常。

改进措施

1、增加 AK 服务白名单生成结果的校验及告警拦截能力。

2、增加 AK 服务白名单更新的灰度验证逻辑，提前发现异常。

3、增加 AK 服务白名单的快速恢复能力。

4、加强云产品侧的联动恢复能力。

1、2T架构师学习资料干货分享

2、10000+TB 资源，阿里云盘，牛逼！！

3、基本涵盖了Spring所有核心知识点总结

  · END ·

最后，关注公众号互联网架构师，在后台回复：2T，可以获取我整理的 Java 系列面试题和答案，非常齐全。

如果这篇文章对您有所帮助，或者有所启发的话，帮忙扫描上方二维码关注一下，您的支持是我坚持写作最大的动力。

求一键三连点赞、转发、在看