案例 | 中移在线:云原生下的监控能力演进

“后来血泪史才发现，原来以业务监控和客户体验才是我们最终的目标。”
——王漫雪, 技术经理，中移在线服务有限公司
 

本文整理自王漫雪在2020Zabbix中国峰会的演讲，ppt可在网盘获取: https://pan.baidu.com/s/193LSRNQGmBbqk9Doj4PEpg 密码:ypur
 

更多演讲视频可关注官方Bilibili账号主页（ID：Zabbix中国）。
 

一 背景-全国集中维护、全球最大

本次演讲分五个主题，背景、出路、转型、沉淀、蜕变。中移在线服务有限公司是中国移动旗下的专业子公司，不管你是给10086打电话还是通过10086的微信公众号、小程序办理话费查询业务，这些系统都是我们公司在进行支持。

我们公司算是传统的公司，最近也做了很多升级，广东省的用户有可能在使用5G手机，同时用了5G套餐的情况下，非常有可能接待你的都是视频客服，美女小姐姐面对面跟你做服务介绍。随着我们的服务、业务、运维、形态都在升级，目前面临的运维挑战是巨大的。
 

01- 积极应对挑战

中国移动有9.1亿的用户，9.1亿用户多不多？我们做个对比，我查了微信的用户是12亿，支付宝的用户是10亿，非常火的抖音的用户是5亿，我们9.1亿应该是非常接近一线的互联网公司了。这么大的用户量代表着系统线上肯定是一个分布式高并发的系统，它是很复杂的，对于我们的运维挑战也是很多的。

大家可以看到，现在线上生产环境的容器已经有3万+了，物理机也有2万多台，业务系统也是变化很快的，采用了很多新的技术，比如说微服务、容器，日均上线是120次，这在传统的运营商里面是非常庞大的数量了。最后就是要求高，很难想象，如果10086电话打不通了，可能这个事就要上新闻了。
 

二 出路 拥抱开源

01- 拥抱开源

对于一个传统的运营商，我们怎么选择自己的出路呢？对于传统运营商来讲，我们可能没有像BAT一样非常高精尖的人才，我们可能也不懂系统内核是怎么开发的，想要自己脱离于厂商做一个完全自主化的运维平台系统，在短时间之内几乎是很难很难的，那怎么办呢？我们只能去拥抱开源。

在我接手中移在线的时候，我们的监控系统是一个非常传统的厂商提供给我们的，当时我们的监控数据指标是每15分钟采集一次，我压根看不到监控数据采商长什么样子，只有故障的时候我收到一条短信告诉我你现在CPU利用率高了，当时我很痛苦，那怎么办？

新时期的监控需求也摆在这儿了，我们需要跨层，很多很多各种各样的设备，有新的也有老的，我们还需要跨域，还需要高实时，还需要可持续化，这样的监控需求摆下来，做了很多的技术调研之后，我们选择站在Zabbix这个巨人的肩膀上。利用Zabbix的成熟能力，一个月之内快速完成了监控系统的生产上线。以及包括37个监控模板的搭建，3个月之内就覆盖了总部加31个省份公司100%的技术监控，这个速度是不可想象的，本身Zabbix也是非常成熟的，它可以实现秒级数据采集，从2017年到现在基本上没有出现重大的故障。

最后跟Grafana做了一个很好的结合，利用它的开源可视化的自定义的看板，给大家输出来了很多的监控报表。本身Zabbix的代码写得非常高效，因为是C语言写的，本身系统的资源消耗是很低的。

看下我们的建设模式，刚才忘了介绍，我们公司有两个集中的数据中心，在31个省、市还有31个分公司，为了让监控能力快速推广开，我们就采用了总部集中建设、统一管控，分公司标准化接入的建设模式，快速利用Zabbix通用的监控模板，包括自己开发了一些，适配了一些，做了37项能力，总部就负责把监控能力建设，便边界点的标准化，所有监控数据的上收分析展现与通知，分公司只需要简单的把监控持续维护下去就可以了。
 

02- 统一监控平台

下面来给大家看一些展示，这是所