中通Elasticsearch集群运维实践（二）

中通Elasticsearch集群运维实践（二）–监控告警

背景介绍：

中通在2015年的时候已经开始预研并在生产环境使用Elasticsearch集群，随后在科技中心开始大规模实践。随着业务的快速发展，es集群数量和规模也越来越大，版本的跨度也逐渐拉大，统一管理这些es集群逐渐变成了首要问题，在这种情况下，我们研发了中通ES运维监控平台–ESPaaS，提供了ES集群的自动化部署，统一监控，实时告警和索引管理等一系列运维管理功能，截止2020年7月底，中通生产上运行的es集群数量已经有40+个，节点数量500+个，单个集群的节点数从3个到100多个，单日新增文档数量近600亿，单日数据增量超过100tb，数据总量已经超6PB。（欢迎进入🔗中通快递官网了解更多资讯）

不同的阶段，关注和解决的问题也不一样，ESPaaS平台的版本迭代主要分为以下几个阶段：

本文主要介绍的是中通ESPaaS运维平台在统一监控告警上的实践，主要关注以下内容：

1. 集群实时监控
2. 告警输出
3. 集群诊断

架构设计

prometheus作为现在最流行的监控解决方案之一，经过一番调研，决定以prometheus为核心，搭建监控体系，监控告警的整体架构如下图所示：