2018年十大云宕机事故盘点：主流无一幸免！

根据IDC今年7月份发布的《中国公有云服务市场半年度跟踪报告》显示，阿里云的市场占有率已过45%，腾讯云达到10%。在全球市场，根据Gartner最新数据显示，亚马逊AWS占全球份额的51.8%；微软Azure位列第二位，占比13.3%；阿里云位列第三位，占比4.6%；谷歌Cloud云服务占比3.3%；随后是IBM，占比1.9%。可见，这几大主流云供应商占据全球绝大部分市场，一旦云服务出现宕机，受影响的企业将不计其数。

\n

2018年，云计算市场不仅发展迅速，而且问题不断。云供应商与开源社区的矛盾不断升级，主流云厂商均未逃过宕机事件，更有甚者一年出现多次服务宕机，导致企业对公有云的信心持续走低。本文总结了2018年前十大云宕机事故，欢迎各位补充经历过的云服务至暗时刻。

\n

1、谷歌云自动化失效导致宕机  1月18日

\n

事故详情：2018年1月18日，谷歌云自动化机制失效，导致其us-central1和europe-west3两大可用区中的计算引擎停运93分钟。谷歌对此的回应是“网络编程失效”导致Autoscaler（自动扩展器）服务无法正常运行，该服务失效意味着新的虚拟机或刚迁移的虚拟机无法与其他可用区虚拟机联系。
\n补救措施：工程团队手动切换到替换任务，以恢复数据持久层正常运行。
\n宕机时间：93分钟
\n事件后续：谷歌承诺，未来如果配置数据过时，谷歌将停止虚拟机迁移，数据持久层会在长时间运行进程期间重新解析对等体（peer），以便故障发生时迅速切换到替换任务。

\n

2、AWS宕机致部分Alexa失声  3月2日

\n

事故详情：2018年3月2日凌晨，依赖AWS服务的部分Alexa开始出现失声问题，该智能音箱的红色指示灯不停闪烁表明服务出现中断，Alexa也一直发出系统内置道歉声。随后几小时内，Alexa又接到了成千上万封投诉。据了解，Alexa这一故障源于亚马逊AWS的网络服务出现问题，其他依赖AWS作为骨干网的应用在当天也受到了影响，包括软件开发公司Atlassian，云通讯公司Twilio等。
\n补救措施：亚马逊AWS的在线支持团队对此进行了修复
\n宕机时间：数小时（因事发凌晨，未在第一时间发酵）
\n事件后续：亚马逊AWS未对此故障进行详细说明，只透露与网络连接有关。

\n

3、AWS北弗吉尼亚地区数据中心出现硬件问题  5月31日

\n

事故详情：2018年5月31日，因北弗吉尼亚地区的数据中心出现硬件故障，AWS再次出现连接问题。在此事故中，AWS的核心EC2服务，Workspaces虚拟桌面服务以及Redshift数据仓库服务均受到影响。
\n补救措施：人为修复
\n宕机时长：30分钟左右
\n事件后续：亚马逊公司S3的副总裁兼总经理Mai-Lan Tomsen Bukovec近日接受采访表示，亚马逊从未见过数据中心崩溃。这意味着，过去的每一次事故都未曾导致整个数据中心的崩溃，AWS也在系统设计层面进行了改进以防止此类事故发生。

\n

4、微软Azure爱尔兰数据中心宕机  6月17日

\n

事故详情：2018年6月17日至18日，因爱尔兰数据中心的恒温系统出现问题，微软Azure被高温影响导致存储和网络中断。
\n宕机时间：5小时以上

\n

5、阿里云故障  6月27日

\n

事故详情：2018年6月27日16:21左右，阿里云出现重大技术故障，16:50分开始陆续恢复，官方给出的故障时间为30分钟左右，恢复时间大概花费一小时。经过技术复盘，阿里给出的故障原因为工程师团队上线自动化运维新功能时，执行了一项变更验证操作，该操作在测试环境中未发生问题，上线后触发未知bug。
\n补救措施：人工介入，定位并解决问题
\n宕机时间：30分钟，恢复时间花费一小时左右
\n事件后续：本次事故被定义为S1级别，即核心业务重要功能不可用，影响部分用户，造成一定损失。阿里云发布官方声明，表示“对于这次故障，没有借口，我们不能也不该出现这样的失误！我们将认真复盘改进自动化运维技术和发布验证流程，敬畏每一行代码，敬畏每一份托付。”

\n

6、腾讯云云硬盘故障  7月20日

\n

事故详情：2018年8月5日，北京清博数控科技有限公司（以下简称“前沿数控”）在官方微博发布了一篇题为《腾讯云给一家创业公司带来的灾难》的博文，文中表明，2018年7月20日，腾讯云云硬盘发生故障（腾讯云后期给出的事故原因说明），导致该公司存放的数据全部丢失，并且不能恢复，这是该创业公司近千万元级的平台数据，包括经过长期推广导流积累起来的精准注册用户以及内容数据。
\n补救措施：腾讯云表示，监控到异常后第一时间向用户告知了故障状态，并立即组织文件系统专家并联合厂商技术专家尝试修复数据。但经过多方努力，最终仍有部分数据完整性校验失败。
\n事件后续：腾讯云提出“赔偿+补偿”方案，并承诺会继续与“前沿数控”保持沟通，帮助其进行业务恢复。

\n

7、腾讯云宕机  7月24日

\n

事故详情：2018年7月24日，用户登录腾讯云时反复出现超时、退出等情况，即便更换运营商，结果也一样。随后，腾讯云发布通知称初步确定是运营商光缆中断，运营商已经找到断点，正在连线中，主要受影响的为广州区域部分用户。
\n补救措施：运营商第一时间介入抢修
\n宕机时间：宕机时间不明，恢复时间花费30至40分钟

\n

8、亚马逊AWS故障 Prime Day

\n

事故详情：Prime Day是亚马逊在全球范围内启动的为期36小时的会员促销活动，活动刚开始，亚马逊网站及App就同时发生严重宕机，不光电子商务业务受损，亚马逊的其他产品和服务都受到了不同程度的影响。亚马逊对此给出的解释是AWS管理控制台出现全球性问题。
\n宕机时间：故障持续了将近6小时
\n事件后续：AWS发言人表示，间歇性的AWS管理控制台问题并未对亚马逊的消费者业务产生任何有意义的影响。

\n

9、微软云Azure数据中心遭雷劈宕机  9月4日

\n

事故详情：9月4日上午，微软Azure美国中南区数据中心附近发生雷击在内的恶劣天气，影响冷却系统的电压，导致多个Azure服务出现连接问题，客户难以访问存储在该区数据中心的资源。受影响的服务包括Office365、Active Directory、Visual Studio Online、Visual Studio Team Services等。
\n补救措施：9月5日上午，微软工程师已恢复数据中心的电力和大多数网络设备，其他服务也在陆续恢复中。
\n宕机时间：超过24小时

\n

10、谷歌公有云下的Kubernetes服务（GKE）宕机  11月9日

\n

事故详情：11月9日，谷歌公有云上提供的Kubernetes服务（GKE）节点池建置功能出现异常，维运人员无法透过Cloud Console UI建立新节点。

\n

补救措施：谷歌派工程团队调查故障原因，并开始着手维修。谷歌表示，受影响的企业用户可以先改为使用GCP内建的gcloud command，建置新Kubernetes节点。
\n宕机时间：接近19小时

\n

在过去几年，云供应商还发生过数起大大小小的故障，随着越来越多的企业和政府机构将数据上云，即便只是一个小小的宕机都可能引发很大的灾难。即便是提供99.9%可靠性的阿里云，那0.1%的宕机还是发生了，因此企业不仅要建立完善的灾备保障体系，还应该对灾备系统进行定期演练以防故障发生造成损失。

\n