混沌工程预案演练项目

一.项目背景

• 可用性挑战99.99

• S级项目质量为0

• 在分布式架构环境下，服务间的依赖日益复杂，可能没有人能说清单个故障对整个系统的影响，构建一个高可用的分布式系统面临着很大挑战。

• 在可控范围或环境下，使用 ChaosBlade 工具，对系统注入各种故障，持续提升分布式系统的容错和弹性能力，以构建高可用的分布式系统。

二.项目目标

熔断降级

• 当服务出现异常、超时时，是否可以自动降级?

• 当失败率达到阈值时，是否可以自动熔断?

• 在服务熔断期间，该服务请求均降级?

• 当服务恢复时，能够自动回复?

• 是否可以一键降级?

限流能力

• 当异常流量很大时，能否正常执行限流策略?

• 流控系统异常不应该影响正常业务逻辑?

• 监控报警

• 当服务出现异常、超时时，是否有预警机制(钉钉发送异常?/ 短信提醒? ) 监控大盘是否正确显示异常?

• MYSQL 慢查询是否正常预警?

监控报警

• 当服务出现异常、超时时，是否有预警机制(钉钉发送异常?/ 短信提醒? ) 监控大盘是否正确显示异常?

• MYSQL 慢查询是否正常预警?

三.项目范围

四.项目计划

1. 混沌模型建造。2021-04-13

1. 根据混沌模型，梳理主要演练场景。2021-04-16

1. 整体方案设计。2021-04-21

1. 方案评审通过。2021-04-23

1. 根据场景产出blade命令。2021-04-26志2021-04-30

1. 准备在bench环境执行命令，进行演练。

五.项目实施

1、模型建造。

案例一

举例说明：有一台机器是192.168.21.10上面的dubbo应用调用

com.order.TestServiceDubbo服务延迟3s。

根据上述场景：明确要对Dubbo组件进行混沌实验，实施范围是：192.168.21.10单机，对调用com.order.OrderService服务模拟3s延迟。

Target：实验靶点，指实验发生的组件，例如Dubbo、Redis、Sentinel、RocketMq。

Scope：实验范围，指具体触发实验的机器或者集群等。

Matcher：实验规则匹配器，根据所配置的Target,定义相关的实验匹配规则，例如上面所列具体的dubbo服务接口。

Action：指实验模拟的具体场景，例如延迟、异常、参数修改、返回值修改等，例如上述延迟3s。

针对上述例子，ChaosBlade 调用命令是：

blade create dubbo delay --time 3000 --consumer--service com.order.OrderService

• dubbo: 模型中的 target，对 dubbo 实施实验。

• --consumer、--service：模型中的 matchers，实验规则匹配器。

• delay:模型中的 action，执行延迟演练场景。

• --time:模型中 action 参数，指延迟时间。

案例四(外部HTTP服务)

举例说明：有一台192.168.21.10机器上的wescenter-api 短信服务,调用助通业务通道发送短信,调用方式采用restTemplate，现对http://www.baidu.com进行延迟3s。

Target：实验靶点http

Scope：实验范围，testcenter-api应用。

Matcher：实验规则匹配器http://www.baidu.com。

Action：上述延迟3s。

针对上述例子，ChaosBlade 调用命令是：

./blade c http delay --time 3000 --uri http://api.zthysms.com --rest --process wescenter-api

• --time: 3000，表示延迟 3000 ms；单位是 ms

• --uri: 模型中的 matchers，http://api.zthysms.com， 表示调用的服务url。

• delay: 模型中的 action，表示演练的是延迟。

• --rest 模型中的 matchers,表示演练的restTemplate。

• --process:wescenter-api，表示对哪个应用进程实施混沌实验

2、系统资源

3、应用服务

熔断降级

1、依据一级服务依赖的二级服务进行故障注入。（依据服务依赖强弱，弱的降级，强的高可用保障）

通过复制线上的流量，然后在指定机器上进行加倍回放

2、一级服务依赖的三方服务进行故障注入。（短信、地图、支付）http故障注入

3、一级服务依赖的存储组件进行故障注入。（mq、redis、mysql、es）

六.故障演练流程

混沌工程实施步骤

• 制订混沌实验计划

• 定义系统稳态指标

• 做出系统容错行为假设

• 执行混沌实验

• 检查系统稳态指标

• 记录&恢复混沌实验

• 修复发现的问题

• 自动化持续进行验证

故障演练是为了找出系统中的薄弱点并进行预防，是一个反复迭代的过程。

七.项目成果

• 找出不确定性

• 如果发现了一个弱点，那么我们就有了一个改进目标，避免在系统规模化之后问题被放大。

• 沉淀故障测试和演练实践知识库。