一、监控定义
监控目的:
实时掌握,系统运行状态,健康,风险,紧急,故障,准确定位问题点
监控标准:
及时:故障处理问题流程要求 1 分钟响应,5分钟定位,10分钟解决
有效,有action, 有责任人,可跟进问题。
监控范围:
监控需要分层,及时发现问题根源
监控手段:
业务通过日志埋点,数据对账,应用健康状态 基于 actuator
二、系统监控常常面临的问题
1、监控配置总量大,缺少分级,噪声多
2、监控不全面 ,存在漏报,不报的问题。很多报警无人跟进。
3、监控暴露的问题,持续未解决。需要推进机制。
三、改进措施
1、杀鸡用牛刀,从结构性彻底解决问题。 从战略上解决问题
2、系统服务能力定义与梳理:明确业务场景及规则列表,可描述,无潜规则
3、系统可观测(日志、追踪、度量)引用
日志:系统可监控性升级,日志规范性优化,结构化输出,可自释。
追踪:日志收集,统一输出
度量:通过聚合,多维度指标。(需要ETL 排查重试导致的误判)
4、监控分层
按照故障等级
按照业务链路监控
四、长期方案
系统监控环节,搭建可全链路监控系统,业务、运营、技术支持,研发
五、以始为终
owner 意识,杜绝破窗效应,持续跟进监控,
记录新的报警进行跟进,统一排期解决