为你的服务打针疫苗 —— 混沌工程

已于 2022-05-17 16:32:19 修改
阅读量795 收藏 4
点赞数 1
分类专栏： 服务端 文章标签： 混沌 AB 压测 测试
于 2022-05-17 16:32:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34417408/article/details/124824345
版权

目录

混沌工程

初识混沌工程

混沌工程可以为我们做什么？

混沌工程是故障测试吗？

混沌工程原则

可量化的稳定状态

反映真实世界但风险未知的假设

自动化的生产环境实战

影响最小化

如何实施混沌工程

设计实验

执行实验

故障观察

开源项目

混沌工程

未知，既然避不开，为何不拥抱它？

在实际生产环境中，各种无法预知的事件难以避免，风险隐患无处不在。分布式系统架构的复杂性、海量数据的计算与存储、跨团队协同等，这些都在向系统的稳定性发起挑战。系统不确定性风险的加剧，最终将会波及到我们业务的连续性。

你是否想过：如果整个区域或数据中心出现故障、服务出现访问延迟、系统时钟不同步等这些问题发生，将会带来怎样的后果？其中有些结果我们可以预知，但更多可能在意料之外。这时候，你可以阅读这篇文章了解——“混沌工程”。


初识混沌工程

混沌工程（Chaos Engineering）是通过主动向系统中引入软件或硬件的异常状态（扰动），制造故障场景，并根据系统在各种压力下的行为表现，确定优化策略的一种系统性稳定性保障手段。

Netflix 前云架构师 Adrian Cockcroft，在 2018 年关于混沌工程的演讲中，提出了关于混沌工程的更精确的定义：“混沌工程是一种确保减轻故障影响的实验”。也有人将混沌工程比作疫苗，通过 “接种疫苗” 的方式，让系统具备抵挡 “重大疾病” 的能力。

2010 年底，Netflix 向全世界推出 Chaos Monkey ，其主要功能是随机终止在生产环境中运行的虚拟机实例和容器，模拟系统基础设施遭到破坏的场景，使得工程师能够观察服务是否健壮、有弹性，能否容忍计划外的故障。这就是混沌工程的早期雏形。

混沌工程可以为我们做什么？

应用场景价值
容灾能力测试通过注入故障，验证个别组件发生故障时不会影响整个系统，以及限流降级、熔断、主备切换、故障迁移等容灾手段的有效性。
微服务强弱依赖治理非核心服务不能拖垮主服务。在给被调服务注入和去除故障过程中，观察主调服务的指标表现，可以直观便捷地获得依赖强弱关系，对不符合预期的依赖关系做进一步优化。
验证容器编排配置通过模拟删除服务Pod和节点、增加Pod资源负载，观察系统服务可用配置性，验证副本配置、资源限制配置等是否合理。
监控警告验证监控指标是否准确、监控维度是否完美、告警阈值是否合理、告警是否快速、告警接收人是否正确、通知渠道是否可用等。
应急演练通过红蓝对抗等真是故障场景下的演练，考验相关人员的问题应急能力、应急效率，以战养战，丰富团队经验，增强团队信心。

混沌工程是故障测试吗？

混沌工程，与故障注入、故障测试等测试方法，有本质上的区别。混沌工程是一种生成新信息的实践，而故障注入是测试已知属性的方法。

在传统测试里，我们可以写一个断言，给定特定的条件，产生一个特定的输出，如果不满足断言条件，就说明测试出错，它不能产出一些让我们始料未及的 “惊喜”。

而混沌工程是探索更多未知场景的实验，实验会有怎样的新信息生成，我们是不确定的。

混沌工程原则

以下原则描述了应用混沌工程的理想方式：

可量化的稳定状态

实施混沌工程，首先要了解系统在正常状态下的行为。因为，在人为注入故障后，不仅要评估故障注入对系统造成的影响，还要确保系统能够恢复到这个稳定状态。

因此，需要收集一些可测量的指标，来实现系统稳定状态的可观测性。而业务指标相比系统指标（如 CPU 负载、内存使用率等），更能反映系统的健康状态以及用户满意度。

反映真实世界但风险未知的假设

在真实业务场景中，遇到的任何故障都是混沌实验的潜在变量。目前业界已经有了按照 IaaS 层、PaaS 层、SaaS 层划分的故障画像（如下图）。除了对这些已出现的问题进行分类、优先级排序外，也要对未来可能会出现的新问题保持关注。

同时，践行混沌工程要以接受不确定性为思想前提，即把重点放在发现未知的风险并进行改进，而非做出对实验输入和输出有明确预期的假设。

但是，在决定引入哪些事件时，也需要估算事件发生的概率和最终影响范围，推算造成的成本和复杂度等。

自动化的生产环境实战

同军队演练一样，将每次演习都看作是一次实战。生产环境的服务状态和流量模式等问题也会影响到系统的行为。

因此，最好直接在生产环境中进行混沌实验。混沌工程实验还应该实现自动化且可持续运行，能够全自动的设计、执行和终止实验。

影响最小化

面对未知实验，想要完全避免不出问题是不可能的。在生产环境中进行实验必然是有风险的，但冒这个风险的代价总会比将来大规模业务中断所带来的打击要小。

而我们所要做的就是，使用技术手段最小化故障对客户的影响，即 “最小爆炸半径”，如采取小范围的故障注入、流量路由、数据隔离等手段。

如何实施混沌工程

设计实验

  • 确定稳态指标：确定一个与用户相关的关键性能指标，如订单量或每秒的流量等。

  • 创建假设：假设系统会出现哪些问题，注入了相应故障后会发生什么，这个结果可能会对客户造成什么影响。

执行实验

  • 确定实验范围——控制半径

  • 故障注入

故障观察

如果观测到稳态指标受到影响，则可以停止实验。接下来首先评估故障本身，根据指标变化情况来验证（或反驳）预先的假设。然后，检查仪表板和警报，看看是否有其他意外变动。

开源项目

Chaos Monkey

https://github.com/netflix/chaosmonkey%0a

Chaos Mesh

Chaos Mesh 是一个云原生混沌工程平台，提供了在 Kubernetes 平台上进行混沌测试的能力。

https://github.com/chaos-mesh/chaos-mesh%0a

Litmus

Litmus 是一种开源的云原生混沌工程工具集，帮助 Kubernetes SRE 和开发人员发现 Kubernetes 平台和应用的韧性问题。

https://github.com/litmuschaos/litmus%0a

Chaosblade

ChaosBlade 是阿里巴巴在其自身故障测试和演练实践基础上，结合自身业务场景而开发的面向多集群、多环境、多语言的混沌工程平台。

关注我 code 杂坛，了解更多......

魏小言
关注
专栏目录
混沌工程：分布式系统稳定性的“疫苗”
zybank_IT的博客
11-19 1774
混沌工程：分布式系统稳定性的“疫苗”一、容灾了，但没完全容灾二、NetFlix、猴子与疫苗三.混沌工程的价值四、国内混沌工程开源项目现状1.混沌之刃—ChaosBlade2.混沌网格—Chaos Mesh五、国内混沌工程行业标准六、结语 作者：李康建 中原银行信息技术部 一、容灾了，但没完全容灾 2021年7月14日夜晚，B站突发宕机事故，导致服务不可用长达40分钟，B站“难民”们纷纷涌入其他竞品平台，导致了连锁性的服务雪崩事件。事故原因众说纷纭，据传可能有机房失火，停电，云设施故障，程序猿手滑等等。 且
开源项目-netflix-chaosmonkey.zip
10-09
开源项目-netflix-chaosmonkey.zip,Golang in production: Netflix's Chaos Monkey
混沌工程实践 - LitmusChaos
weixin_42526859的博客
05-28 1652
LitmusChaos介绍 LitmusChaos是一个用于云原生的混沌工程工具集。Litmus提供了在Kubernetes上注入故障演练的工具，以帮助SRE发现部署中的弱点。SRE使用Litmus在模拟环境中运行混沌实验，最终在生产环境中找到bug和漏洞。修复这些弱点可以提高系统的弹性。 架构 Litmus采用云原生的方法来创建、管理和监控混沌演练。使用Kubernetes自定义资源定义（CRD）进行编排，Litmus模块可以分成两部分： Portal Agents Portal 是一组Lit
Netflix新放出来的开源工具Chaos Monkey
weixin_34342207的博客
12-15 375
Netflix新放出来的开源工具Chaos Monkey拓扑社 | 专注于ToB领域的垂直媒体
架构师口中的混沌工程，究竟用来解决什么问题
weixin_45583158的博客
01-24 551
导读：混沌工程，翻译自国外的 Chaos Engineering，在 Netflix 以及最近的一些技术大会得到了广泛关注，本文介绍了混沌工程的一些基本原理。Netfli...
为什么打了疫苗，又红又肿
qq_38963393的博客
10-18 118
生活
汪汪与打针（UPC）
2301_81591020的博客
01-11 391
时间过得很快，汪汪已经到了打针的月龄了，汪汪来到医院想要给自己打一针狂犬疫苗，可是禁不住医生的诱惑，先接种三针妙三多，然后再打狂犬疫苗。妙三多一针120，狂犬疫苗一针100，可是汪汪身上的钱只有a元，无法一次打完。”，于是汪汪决定一边攒钱一边给自己打针（因为汪汪是一个爱打针的喵喵），汪汪每个月能够攒b元，请问汪汪可以按时接种多少针。本题多组测试数据，每组测试数据占一行，有两个整数分别表示a和b(0≤a,b≤1000)每组测试数据输出占一行，一个整数，表示汪汪能够按时打几针。
Python爬虫——Urllib库-1
最新发布
WenJGo的博客
02-29 3289
Python爬虫入门，urillb以及UA反扒的破解
【时文阅读】别让害怕打针耽误你接种新冠疫苗.pdf
11-01
对于许多人来说，对打针的恐惧可能超出了一般的焦虑，导致他们避免接受必要的医疗服务。随着世界寄希望于新冠疫苗来恢复正常生活，专家和医疗专业人员强调，存在克服这种恐惧的方法。 首先，对于极度恐惧的人，可以...
湖北一幼儿园20名幼儿团体发烧疑打针疫苗所造成的.docx
11-30
湖北一幼儿园20名幼儿团体发烧疑打针疫苗所造成的.docx
打针的时候教案.doc
03-04
【打针的时候教案】是一份针对少儿美术教育的教案，旨在通过回忆和表现打针的情境，激发孩子们的创造力，并帮助他们理解和表达不同情绪。教案适用于美术科目的少儿创意画室，采用油画棒作为主要创作工具，以纸张为...
探秘疫苗王国作文400字.docx
10-14
【疫苗王国探秘】——儿童友好型疫苗与疫苗的重要性 疫苗，这个看似普通却至关重要的医学成果，是我们对抗疾病的有力武器。自古以来，人类一直在与各种疾病进行斗争，而疫苗的发明则开创了预防医学的新纪元。本文将...
转基因植物疫苗PPT课件.pptx
10-18
与注射疫苗相比，植物疫苗通过口服摄入，避免了注射带来的疼痛，尤其适合那些惧怕打针的人群。同时，这种方式也简化了疫苗的分发和接种过程，降低了医疗操作的复杂度。 其次，【价格便宜】是植物疫苗的另一显著优势...
混沌工程介绍
weixin_42526859的博客
05-28 2385
混沌工程基础介绍 在一个由很多微服务组成的分布式系统中，我们永远难以全面掌握发生什么事件会导致系统局部不可用，甚至全面崩溃。但我们却可以尽可能地在这些不可用的情况发生之前找出系统中的脆弱点。Netflix的工程师团队是根据多年实践经验主动发现系统中脆弱点的一整套方法。这套方法现在已经逐渐演变成计算机科学的一门新兴学科，即“混沌工程”。通过一系列可控的实验和执行实验的原则，混沌工程将揭示出分布式系统中随时发生的各类事件是如何逐步导致系统整体不可用的。 混沌工程是什么 混沌工程是一门新兴的技术学科，它的初衷是通
硬刚ChatGPT，中国版ChatGPT“狂飙”的机会在哪儿？
热门推荐
魏小言的博客
03-17 1万+
首先，文心一言的发展受到多种因素的影响，包括技术的进步、市场竞争格局的变化以及用户需求的变化等。因此，要想真正为百度止颓，文心一言需要在语音识别、自然语言处理、机器学习等多个领域不断努力，提升自己的性能和功能，为用户提供更加智能和高效的服务。因此，文心一言需要在不断完善自身技术的同时，密切关注竞争对手的动态，并积极探索新的技术和产品，以保持竞争优势。作为一家AI公司，文心一言需要通过品牌建设和营销推广，提高自身的知名度和影响力，吸引更多的用户和合作伙伴。整体来讲，个人的态度是积极的。
ZooKeeper 到底是什么？深入阐述 ZooKeeper
魏小言的博客
04-21 7541
ZooKeeper 是一个分布式协调服务，由 Apache 进行维护。 ZooKeeper 可以视为一个高可用的文件系统。 ZooKeeper 可以用于发布/订阅、负载均衡、命令服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能 。 目录 ZooKeeper 到底是什么？深入阐述 ZooKeeper一、ZooKeeper 简介 一、Zookeeper 基本简介 1.1 ZooKeeper 是什么 1.2 ZooKeeper 的特性 1.3 ZooKeep...
HTTPS 中的 TLS 过程
魏小言的博客
01-26 5059
文章目录什么是 TLS ?HTTPS 中的 TLSTLS 加密过程加密算法附录 什么是 TLS ? TLS 安全传输层协议（TLS）用于在两个通信应用程序之间提供保密性和数据完整性。 HTTPS 中的 TLS HTTPS 数据的加密协议就是 TLS 协议。 在网络七层协议中，TLS 处于 传输层之上的会话层。 TLS 利用 非对称 + 对称 加密算法协作完成数据的加密。 TLS 加密过程 以 HTTPS 为例子讲解，在网络通信时往往会进行双端连接的建立，在建立过程中就会完成加密算法的协商约定，为后续数据
如何评估服务器基础性能 - CPU负载、使用率、内存&磁盘使用率、网络带宽......
魏小言的博客
10-19 3777
文章目录关注服务硬软指标服务器关键指标CPU 负载CPU 使用率网卡 IN & OUT内存 & 磁盘Q&A附录 关注服务硬软指标 在搭建维护服务时，我们经常和服务的性能指标打交道，比如，QPS、耗时、P90/99、等等；然而服务的良好运行依托于服务的部署，离不开机器支撑，所以我们也要去关注服务器的运行指标。 关注服务硬软指标、深耕业务特性、衡量 ROI …也是资深工程师进阶必掌握的技能！ 服务器关键指标 有这样的场景，运行良好的服务中有两台机器即将过保，需要从其他服务中的机器中选出两
用Java写一个兽医给cat对象打针
08-05
### 回答1： 好的，以下是用Java给Cat对象打针的示例代码： ```java public class Vet { public void vaccinate(Cat cat) { // 给Cat对象打疫苗的具体实现 System.out.println("Vaccinating " + cat.getName() + "..."); cat.receiveVaccine(); System.out.println(cat.getName() + " has been vaccinated!"); } } public class Cat { private String name; private boolean vaccinated; public Cat(String name) { this.name = name; this.vaccinated = false; } public String getName() { return name; } public boolean isVaccinated() { return vaccinated; } public void receiveVaccine() { vaccinated = true; } } // 测试代码 public class Main { public static void main(String[] args) { Cat kitty = new Cat("Kitty"); Vet vet = new Vet(); vet.vaccinate(kitty); System.out.println(kitty.getName() + " is vaccinated: " + kitty.isVaccinated()); } } ``` 在上面的示例代码中，我们定义了一个兽医类 Vet 和一个猫类 Cat。Vet 类中有一个 vaccinate 方法，它接收一个 Cat 对象作为参数，然后调用 Cat 对象的 receiveVaccine 方法来打疫苗。 Cat 类中有一个 receiveVaccine 方法，它将 vaccinated 属性设置为 true，表示这只猫已经打过疫苗了。 在测试代码中，我们创建了一个名为 Kitty 的猫对象，并将其传递给 Vet 类的 vaccinate 方法。最后，我们检查 Kitty 是否已经被打过疫苗了。 ### 回答2： 兽医给cat对象打针可以通过在Java中创建一个Cat类来实现。下面是一个示例代码： ```java public class Cat { private String name; // 猫的姓名 public Cat(String name) { this.name = name; } public void receiveInjection() { System.out.println(name + "正在接受兽医打针..."); // 打针的具体逻辑，此处为示例，可以根据实际情况自行编写 // ... System.out.println(name + "接受打针完成。"); } } public class Vet { public static void main(String[] args) { Cat myCat = new Cat("Tom"); myCat.receiveInjection(); // 调用接收打针方法 } } ``` 在上述示例中，我们首先创建了一个Cat类，其中包含一个接收打针的方法receiveInjection()。在该方法中，我们可以编写具体的打针逻辑。然后，在Vet类的main()方法中，我们创建了一个名为Tom的Cat对象myCat，并调用其receiveInjection()方法来模拟兽医给猫打针的过程。 需要注意的是，上述代码中的打针逻辑仅作为示例，实际应用时需要根据具体情况进行调整和改进。 ### 回答3： 兽医给猫对象打针是一种常见的操作，下面是用Java实现这个过程的示例代码。 ```java // 创建猫类 public class Cat { private String name; public Cat(String name) { this.name = name; } // 打针方法 public void inject() { System.out.println(name + "正在接受兽医打针..."); // 具体的打针操作 // ... System.out.println(name + "打针完成！"); } } // 创建兽医类 public class Veterinarian { public static void main(String[] args) { // 创建猫对象 Cat cat = new Cat("Tom"); // 兽医打针给猫 cat.inject(); } } ``` 在上面的代码中，我们首先创建了一个猫类`Cat`，其中包含了一个打针的方法`inject()`。这个方法打印了正在打针的猫的名字，并进行了具体的打针操作。然后我们创建了兽医类`Veterinarian`，在这个类中创建了猫对象`cat`，并调用了`cat`对象的打针方法`inject()`，兽医就通过这个方法给猫对象打针。 当我们运行以上代码时，控制台会输出类似以下的结果： ``` Tom正在接受兽医打针... Tom打针完成！ ``` 这样，我们就通过Java实现了一个兽医给猫对象打针的过程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

魏小言

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值