运行无间：阿里巴巴运维保障体系的一种最佳实践

本文根据 GOPS2017·上海站演讲《阿里巴巴运维保障体系的一种最佳实践》整理发布

讲师 | 吴昌龙
编辑 | 黄晓轩

讲师简介

吴昌龙
阿里巴巴全球运行指挥中心，GOC (Global Operations Center)是保障阿里经济体的线上业务稳定运行的核心团队。
2014年硕士毕业，专注于云计算。
先后就职于微电影，Melotic（比特币），Rakuten（日本第一大电商）。2016年回国加入了阿里巴巴GOC，到现在一直专注于运维保障。

前言

阿里巴巴全球运行指挥中心，GOC (Global Operations Center)保障阿里经济体的业务稳定运行的核心团队。我们负责了整个阿里巴巴全局生产系统的稳定性。就像业界经常提到谷歌的SRE，我们相当于阿里巴巴的SRE。

今天我的分享分为四个部分：

1、稳定性现状及挑战
2、运维保障体系介绍
3、运行无间最佳实践
4、未来的发展及方向

一、稳定性现状及挑战

提到阿里巴巴，不得不说刚刚过去的双十一。在刚刚过去的双十一，每秒订单创建的峰值达到32.5万笔，每秒支付峰值达到25.6万笔。相比2016年的17.5万笔和12.5万笔提升近80%。相比去年的紧张状态，我们今年收到的普遍反馈是比较平稳。

同时，做为阿里巴巴双十一备战的一员，双十一当天切身感受到，喝着茶就把今年的双十一给过了的感觉。并且业务上也再创新高，达到了1682亿，这是一个非常不容易的技术新高度。

如上图所示，阿里巴巴业务迅速扩展，对于稳定性保障来说非常有挑战性。从基础架构层面来看：我们需要保障IDC，网络基础设施，安全，阿里云、阿里通信和钉钉；从业务层面来看，我们需要保障天猫、淘宝、手淘、蚂蚁金服、AE、飞猪、阿里妈妈、搜索；以及近期迅猛发展的新零售、大文娱业务，如盒马鲜生，村淘、云零售、优酷、阿里影业、阿里健康等。

今年9月28日，新零售盒马鲜生做了五城十店同开活动，一般来说开一家超市成本很高，而互联网的速度却是，可以一下子开起来，当然盒马鲜生不是就满足于一天可以开10个店的速度，未来是百家店、千家的店的速度。

10月份，阿里云马来西亚区开服。用不到1年时间，完成数据中心的新建。并且马来西亚数据中心，也刚好是马老师E-WTP（Electronic World Trade Platform，电子世界贸易平台）真实的落地，速度确实非常快。

11月份，在双十一活动上，有超过100万台天猫精灵智能音箱的售卖。人工智能业务的发展尚是如此迅猛，而我们也紧跟着业务在思考，人工智能算法的稳定性应该如何去衡量。

从各个维度看，阿里当前的业务面很广、层次很深，因此很难做统一的一致的运维保障方案。所以，问题就在于，在这样的情况下作为一个目标是要对接整个阿里经济体线上业务稳定性的一个团队来说，GOC应该如何去做。

昨天，魔泊云的副总裁Christ Chen在分享中提到，他在2001年经历了一个非常大的故障，原因是一个运维误操作把一个DB搞挂了，而整个Cisco线上会议的服务也就挂了。当时间滑到16年后，2017年2月28日B厂也因为30分钟无法通过WAP访问的故障导致被约谈；此外，AWS因一位工程师误操作，导致整个美东一大片区域AWS不可访问。

随着时间，业务复杂度一直在增加，但导致线上故障发生的原因往往没怎么变。因此，需要我们在万变之中找不变，找到运维保障的钥匙。

随着越来越多的新技术，新业务不断涌现，我想这会是一个新的阶段，这个阶段是一个非常不容易达到的技术广度，而在该技术广度上，无论是人工智能算法、还是大规模基础设施，稳定性运维保障都已经成为一个很难的课题。

当双11办到了第9年的今天，天猫双十一已经成为了互联网的一个超级工程，“超级工程”是一个新的概念。除了大家熟悉的下单、支付这样的一些场景外，这个超级工程里面还包含了很多新技术，包括客服、搜索，推荐，广告，库存，物流等等。而这些是所有阿里工程师每天不断创新突破的力量，这是非常不容易的技术速度。

这里面为大家介绍2个点，正好是我们团队做的。一个是Changefree系统，基于机器智能的changefree保证线上变更有迹可循。它通过对变更数据进行全文检索加自定义规则引擎，辅以机器学习的手段来自动统计分类，快速定位故障。这些是官方的表述，但是同比故障的恢复时间我们能够检验得出来，可以提升65%，这是个非常难得的事情。

另一个是时间序列的异常检测算法，基于智能基线的时间序列异常检测算法具有自动学习、自动化监控业务和预警的能力，有了它，业务指标监控的准确率从传统监控策略的40%左右提升到80%。这2个光荣的上了我们新技术的榜，却是是很难的点。

讲完了现状和挑战之后，我想带大家一起回过头思考一下。当我们站在这样的一个技术高度、广度以及速度的时候，线上业务的稳定性、连续性以及运维保障方案有没有不同。当出现故障的时候，或者频繁出现故障的时候，如何保障用户的使用不受影响或者受影响的程度可以降到最低。

二、运维保障体系介绍

我们阿里巴巴的运维保障体系也不是凭空起高楼，也是慢慢迭代出来的，主要学习这两个体系：一个是ITIL ，一个是业务连续性管理，也就是BCM，ISO 22301。我们的运维保障体系，也是脱胎于此。

ITIL侧重于流程和服务，能很好地建立服务目录，但在深度使用过程发现略冗长，不太适合互联网的精益迭代。GOC最初刚成立的时候，主要是用ITIL，但是随着业务稳定性诉求的不断的更新以及优化和不断增长的时候，需要自建的诉求就自然而然来了。

总的来说，我们希望流程可以再轻便、高效一点，服务之间不再是孤岛，