“后来血泪史才发现,原来以业务监控和客户体验才是我们最终的目标。”
——王漫雪, 技术经理,中移在线服务有限公司
本文整理自王漫雪在2020Zabbix中国峰会的演讲,ppt可在网盘获取: https://pan.baidu.com/s/193LSRNQGmBbqk9Doj4PEpg 密码:ypur
更多演讲视频可关注官方Bilibili账号主页(ID:Zabbix中国)。
一 背景-全国集中维护、全球最大
本次演讲分五个主题,背景、出路、转型、沉淀、蜕变。中移在线服务有限公司是中国移动旗下的专业子公司,不管你是给10086打电话还是通过10086的微信公众号、小程序办理话费查询业务,这些系统都是我们公司在进行支持。
我们公司算是传统的公司,最近也做了很多升级,广东省的用户有可能在使用5G手机,同时用了5G套餐的情况下,非常有可能接待你的都是视频客服,美女小姐姐面对面跟你做服务介绍。随着我们的服务、业务、运维、形态都在升级,目前面临的运维挑战是巨大的。
01- 积极应对挑战
中国移动有9.1亿的用户,9.1亿用户多不多?我们做个对比,我查了微信的用户是12亿,支付宝的用户是10亿,非常火的抖音的用户是5亿,我们9.1亿应该是非常接近一线的互联网公司了。这么大的用户量代表着系统线上肯定是一个分布式高并发的系统,它是很复杂的,对于我们的运维挑战也是很多的。
大家可以看到,现在线上生产环境的容器已经有3万+了,物理机也有2万多台,业务系统也是变化很快的,采用了很多新的技术,比如说微服务、容器,日均上线是120次,这在传统的运营商里面是非常庞大的数量了。最后就是要求高,很难想象,如果10086电话打不通了,可能这个事就要上新闻了。
二 出路 拥抱开源
01- 拥抱开源
对于一个传统的运营商,我们怎么选择自己的出路呢?对于传统运营商来讲,我们可能没有像BAT一样非常高精尖的人才,我们可能也不懂系统内核是怎么开发的,想要自己脱离于厂商做一个完全自主化的运维平台系统,在短时间之内几乎是很难很难的,那怎么办呢?我们只能去拥抱开源。
在我接手中移在线的时候,我们的监控系统是一个非常传统的厂商提供给我们的,当时我们的监控数据指标是每15分钟采集一次,我压根看不到监控数据采商长什么样子,只有故障的时候我收到一条短信告诉我你现在CPU利用率高了,当时我很痛苦,那怎么办?
新时期的监控需求也摆在这儿了,我们需要跨层,很多很多各种各样的设备,有新的也有老的,我们还需要跨域,还需要高实时,还需要可持续化,这样的监控需求摆下来,做了很多的技术调研之后,我们选择站在Zabbix这个巨人的肩膀上。利用Zabbix的成熟能力,一个月之内快速完成了监控系统的生产上线。以及包括37个监控模板的搭建,3个月之内就覆盖了总部加31个省份公司100%的技术监控,这个速度是不可想象的,本身Zabbix也是非常成熟的,它可以实现秒级数据采集,从2017年到现在基本上没有出现重大的故障。
最后跟Grafana做了一个很好的结合,利用它的开源可视化的自定义的看板,给大家输出来了很多的监控报表。本身Zabbix的代码写得非常高效,因为是C语言写的,本身系统的资源消耗是很低的。
看下我们的建设模式,刚才忘了介绍,我们公司有两个集中的数据中心,在31个省、市还有31个分公司,为了让监控能力快速推广开,我们就采用了总部集中建设、统一管控,分公司标准化接入的建设模式,快速利用Zabbix通用的监控模板,包括自己开发了一些,适配了一些,做了37项能力,总部就负责把监控能力建设,便边界点的标准化,所有监控数据的上收分析展现与通知,分公司只需要简单的把监控持续维护下去就可以了。
02- 统一监控平台
下面来给大家看一些展示,这是所