介绍下什么是“混沌工程“

"混沌工程"介绍

1.混沌工程能解决什么问题？

2.它与测试的区别是什么？

3.混沌实验样例

4.实现的步骤

5.阿里巴巴的混沌工程举例

大家可能听过阿里的“”红蓝对抗“，

混沌工程是一种通过实验探究的方式来让我们理解系统行为的方法，就像科学家通过实验来研究物理和社会现象一样，混沌工程通过实验来了解特定的系统 如何使用混沌工程提高系统弹性呢？混沌工程通过设计 和执行一系列实验，帮助我们发现系统中潜在的、可以导致灾难的或让我们的用户受损的脆弱环 节，推动我主动解决这些环节存在的问题 和现在各大公司主流的被动式故障响应流程相比，混沌工程向前迈进了一大步。

为什么要进行混沌测试？

对于比较大的分布式系统、复杂系统和微服务实现，开发过程的各种迷雾是真实存在的。从应用程序的角度来看，每个单独的微服务都可以单独测试并确定按设计工作。正常的监控技术可以认为单个服务是健康的。使用微服务模式，单个请求可以遍历多个服务以获得聚合响应来满足用户或其他服务的请求。服务之间的每个远程请求都在遍历额外的基础设施并跨越不同的应用程序边界，所有这些都可能失败。如果一项琐碎或非琐碎的服务或基础设施在服务水平协议范围内没有响应，系统的功能和用户流程将受到怎样的影响？这正是混沌工程要解决的问题

那么 混沌工程是什么，能解决什么问题？

要设计良好的系统需要考虑很多因素，比如可靠性、安全 性、可扩展性、可定制化、可伸缩性、可维护性、用户体验等。 为了更高效地支撑业务发展，越来越多的企业选择基于云服务 或云原生理念来构建平台。采用新思路和新技术必然会带来系统架构和组织结构的变革，引入风险因素。

如何通过实验证明生产环境下的分布式系统在面对失控条件的时候依然具备较强的“可观测性”和故障恢复能力呢？这就是混沌工程要解决的问题。

混沌工程与测试的区别是什么？

混沌工程故障注入和故障测试在侧重点和工具集的使用上有些重叠 举个例子， Netflix 的很多混沌工程实验的研究对象都是基于故障注入来引入的。 混沌工程和其他测试方法的主要区别在于，混沌工程是发现新信息的实践过程，而故障注 入则是基于一个特定的条件、变址的验证方法。

混沌工程和故障注人本质上是思维方式上的不同 。故障 注人首先要知道会发生什么故障，然后一个一个地注人， 而在 复杂分布式系统中，想要穷举所有可能的故障，本身就是奢望 混沌工程的思维方式是主动去找故障，是探索性的，你不知道摘 掉一个节点、关掉一个服务会发生什么故障，虽然按计划做好了降级预案，但是关闭节点时却引发了上游服务异常，进而引发雪崩，这不是靠故障注人或预先计划能发现的。

混沌实验：

模拟整个云服务区域或整个数据中心的故障

部分删除各种实例上的Kafka主题。

重新创建生产中发生的问题。

针对特定百分比的交易服务之间注入一段预期的访问延迟。

基于函数的混乱（运行时注入）：随机导致抛出异常的函数。

代码插入：向目标程序添加指令和允许在某些指令之前进行故障注入。

时间旅行：强制系统时钟彼此不同步。

在模拟I/O错误的驱动程序代码中执行例程。

在 Elasticsearch 集群上最大化CPU核心。

混沌工程实验的机会是无限的，可能会根据分布式系统的架构和组织的核心业务价值而有所不同。

实现四步骤：

1.定义并测量系统的“稳定状态”。

首先精确定义指标，表明您的系统按照应有的方式运行。 Netflix使用客户点击视频流设备上播放按钮的速率作为指标，称为“每秒流量”。请注意，这更像是商业指标而非技术指标;事实上，在混沌工程中，业务指标通常比技术指标更有用，因为它们更适合衡量用户体验或运营。

2.创建假设。与任何实验一样，您需要一个假设来进行测试。

因为你试图破坏系统正常运行时的稳定状态，你的假设将是这样的，“当我们做X时，这个系统的稳定状态应该没有变化。”为什么用这种方式表达？如果你的期望是你的动作会破坏系统的稳定状态，那么你会做的第一件事会是修复问题。混沌工程应该包括真正的实验，涉及真正的未知数。

3.模拟现实世界中可能发生的事情，目前有如下混沌工程实践方法：模拟数据中心的故障、强制系统时钟不同步、在驱动程序代码中模拟I/O异常、模拟服务之间的延迟、随机引发函数抛异常。通常，您希望模拟可能导致系统不可用或导致其性能降低的场景。首先考虑可能出现什么问题，然后进行模拟。一定要优先考虑潜在的错误。 “当你拥有非常复杂的系统时，很容易引起出乎意料的下游效应，这是混沌工程寻找的结果之一，” 因此，系统越复杂，越重要，它就越有可能成为混沌工程的候选对象。”

4.证明或反驳你的假设。将稳态指标与干扰注入系统后收集的指标进行比较。如果您发现测量结果存在差异，那么您的混沌工程实验已经成功 - 您现在可以继续加固系统，以便现实世界中的类似事件不会导致大问题。或者，如果您发现稳定状态可以保持，那么你对该系统的稳定性大可放心。

阿里巴巴混沌工程画像：

开源实验工具：
chaosblade-io/chaosblade: （阿里巴巴开源的一款简单易用、功能强大的混沌实验注入工具） (github.com)

总结：

混沌工程是一种实践思想，其本身是不绑定任何技术或工具的。其实验的结果会被用于创建一个更具弹性的系统。

减少问题的最好方法就是让问题经常性地发生，通过不断重复失败过程并找出解决方案，来持续提升系统的容错能力和弹性。