稳定性建设

最新推荐文章于 2024-07-02 09:37:03 发布

x-working

最新推荐文章于 2024-07-02 09:37:03 发布

阅读量346

点赞数

分类专栏：工作

本文链接：https://blog.csdn.net/liyanqiang19/article/details/114442411

版权

48 篇文章 5 订阅

订阅专栏

目标

业务上：制定各业务稳定性SLA，并达标。

技术上：在短期内通过一些稳定性抓手，降低线上故障的发生，提高系统的高可用性。

今年主要着眼于短期快速提升稳定性的抓手，整体分4期来建设。

一期：组建FT、确定目标、现状调研，时间1个月左右。

二期：核心是提升故障发现能力、故障止损能力（线上问题分钟级别报警，分钟级别止损能力），时间2个月左右。

三期：基础稳定性抓手在各方向上定制化落地，进一步提高各方向的故障发现预防能力，减少故障发生和影响，时间3个月左右。

四期：保证整个增长方向具有应对大规模故障应对能力（故障预防、故障止损恢复能力），时间3个月左右。

抓手	目标	子任务	备注	负责人	相关文档
稳定性FT	组建增长方向稳定性团队	人员职责，覆盖RD\SRE\QA三方团队周会制度，定期完成稳定性项目推进，故障复盘	单周会还是双周会		稳定性周会
现状调研	确定增长各个方向稳定性现状	各业务方向系统串讲历史故障复盘讨论核心服务分级现状问题和业务规划讨论调整		各方向负责人串讲稳定性同学调研
故障定级体系	确定各方向故障定级方案	产出各业务核心指标Wiki 产出不可用时长计算标准产出故障级别标准产出各业务故障等级判定细节标准产出各业务SLA 产出故障处理和善后规范Wiki		稳定性同学对接平台规范各方向负责人产出相关指标	橙心优选推广
核心链路梳理	摸清核心主流程业务情况	产出各业务核心链路梳理Wiki，包括核心接口，业务流程图、第三方依赖拓扑、存储依赖等		稳定性同学调研

抓手	目标	子任务	备注
BI核心指标	业务核心指标故障实时报警	产出各业务核心Woater实时指标监控和报警	根据故障定级方案接入BI监控大盘
上线治理	上线流程规范化，减少上线变更引发的故障	产出线上服务部署规范Wiki，包括集群分组、double check机制、分组停留时间等推动各业务模块部署配置规范化产出上线Checklist Wiki 推动Odin部署信用分建设，达到良好级别
监控报警治理	监控报警规范化，线上问题能够分钟级别报警	产出服务监控报警规范Wiki 新建增长接入层监控大盘、各业务核心监控大盘、各业务核心存储大盘建立各业务报警值班跟进制度推动Odin监控健康分建设，达到良好级别推动Odin灭火图、容量水位建设，核心模块全接入无效报警治理
降级治理	核心接口有弱依赖降级预案系统级别有一键降级预案	弱依赖降级产出各业务核心接口的弱依赖梳理Wiki 各业务核心接口弱依赖能降级，并接入911平台一键降级产出各业务系统一键降级技术方案相关Wiki 各业务系统具备一键降级能力，并接入911平台
容量管理	核心接口和服务有限流，能自动化扩容	核心模块建立哨兵系统核心接口单机限流核心接口接入层限流核心模块接入卡尔平台自动化扩容

抓手	目标	子任务	备注
分级发布	线上问题提前发现，避免扩散到全量	产出线上小流量系统发布技术方案建立各业务线上预览、小流量、全量3级发布机制产出线上分级发布规范Wiki
自动化Case	保证上线核心主流程无问题	产出各业务自动化Case实现技术方案产出各业务核心主流程自动化Case梳理Wiki 线上分级发布集成自动化Case
压测常态化	定期容量预估，系统体检	产出常态化压测标准规范Wiki，包括并且不限于压测工具、压测流程、压测报告、压测时间窗口等定期压测演练，评估容量
服务治理	提升系统整体稳定性	产出Rpc调用规范Wiki，包括不限于Metric上报、日志、超时设置、重试设置、Trace规范等 Rpc全面接入Disf 公司服务治理框架接入	3.公司服务治理框架接入，视增长业务实际情况而定
问题定位	缩短问题定位时间	产出增长方向问题定位技术方案，并在各业务落地