Chaosblade: 阿里一个超级牛逼的混沌实验实施工具

Chaosblade是什么？

Chaosblade是遵循混沌工程（Chaos Engineering）原理的实验工具，用于模拟常见的故障场景，帮助提升分布式系统的可恢复性和对故障的容错性。

Chaosblade是建立在阿里巴巴近十年故障测试和演练实践基础上，结合了集团各业务的最佳创意和实践。

目前支持的演练场景有操作系统类的 CPU、磁盘、进程、网络，Java 应用类的 Dubbo、MySQL、Servlet 和自定义类方法延迟或抛异常等以及杀容器、杀 Pod，具体可执行 blade create -h 查看。

好了，上面的介绍是从Chaosblade的github主页抄的。

github主页地址：https://github.com/chaosblade-io/chaosblade/blob/master/README_CN.md

说白了，Chaosblade是一个故障模拟工具，可以模拟比如服务器CPU满了、磁盘满了、网络慢、Dubbo某个服务响应时间长、jvm中某个方法抛出异常、调用Mysql慢等等。所以这个工具对于大公司来说是非常非常有用的，因为可以提前模拟出各种各样的故障，从而保证系统的高可用与稳定。

Chaosblade怎么用？

用法非常简单，分为两步：

1. 下载压缩包并解压：https://github.com/chaosblade-io/chaosblade/releases

2. 解压之后的文件中有一个blade的可执行文件，这就是Chaosblade提供的客户端工具，我们主要使用这个工具来进行故障模拟。

关于blade的各种参数详解，大家还是去github主页上去看吧，这里不介绍了，我主要想给大家看一下故障模拟的具体使用以及效果。

接下来会介绍Chaosblade六个使用场景：

• 模拟服务器CPU爆满

• 模拟服务器磁盘爆满

• 模拟调用某个Dubbo服务超时

• 模拟JVM中某个方法抛出异常或者修改方法返回值

• 模拟调用Mysql超时或出现异常

• 模拟服务器网络缓慢

场景一：服务器CPU爆满

故障演练前系统的cpu状态，直接使用top -o CPU命令查看：

进行故障演练：

命令执行后返回成功则证明故障演练成功，再查看top -o CPU命令：

我们通过结果可以看出来Chaosblade应该就是让自己去占满cpu从而使服务器的cpu爆满。

场景二：服务器磁盘爆满

如果要模拟磁盘爆满，实际上只需要在某个文件夹中去生成一个很大的文件就行了，所以我们这里创建一个/bladedisk文件夹。

进行故障演练前，/bladedisk文件夹的大小为：

进行故障演练，执行一下命令：

正常情况下会在/bladedisk文件夹下创建一个chaos_filldisk.log.dat文件。此文件的大小为1024个字节。

我这里为什么说正常情况下，因为我用的是Max OX系统，在执行上面的命令时会报错。具体的错误已提交github issues，感兴趣的同学可以关注一下，issue地址。

小花絮：在提交issue时，我用的中文，但是被chaosblade-bot自动翻译为了英文，很厉害。

那么大家可以在自己的系统中试试，这个issue解决后，我会对文章进行更新后补充。大家这里只需要知道Chaosblade可以模拟这种场景以及对应的原理就行了。

场景三：调用某个Dubbo服务超时

官网的Demo中给我们提供了：

• dubbo-provider

• dubbo-consumer

大家把上面的服务提供者和服务消费者jar包下载下来之后，进到下载目录，然后通过下面命令运行起来：

nohup是linux中的命令，可以让java命令后台运行。

运行起来后，可以通过下面的命令来进行服务调用：

正常情况下，该请求会很快的完成并返回：

进行故障演练：

上面的命令会使consumer在调用com.alibaba.demo.HelloService服务的hello方法时增加3秒的延时。当我们访问上面访问的路径时会比之前等待的更久一点。

在对dubbo进行故障演练时，其实支持的细分场景很多，因为在dubbo中分为consumer和provider两种角色，当consumer在调用provider时，我们现在想使这个请求增加延时，我们既可以在provider端针对指定的服务增加延时，也可以在consumer调用时针对指定的服务进行延时，所以我们可以稍微看下上面的命令，它其实是在consumer进行控制的，命令也是支持在provider端进行控制的，我们运行一下以下命令：

将看到帮助中有下面的信息：

其中就有--consumer和--provider，表示的就是命令中可以控制服务调用的两端。所以如果我们想控制provider端，想让某个接口被调用时超时的话，是完全可以进行故障演练的。

那么关于底层原理的话，需要大家对Dubbo比较了解，Dubbo中是有动态配置功能的，所以Chaosblade应该也是利用了dubbo的动态配置功能。

场景四：JVM中某个方法抛出异常或者修改方法返回值

Chaosblade支持直接操作jvm中的方法，使它抛出异常或修改其返回值。

先准备一个MockJvm类：

这个类会每隔三秒调用一下test方法，并打印出方法的返回值，并且在捕获test方法所抛出的异常进行打印，test方法默认返回"test"。我们运行这个类，让这个类一直在运行状态，正常运行时，控制台会打印如下：

方法抛出异常

上面的命令模拟了MockJvm进程下的com.MockJvm类中的test方法会抛出java.lang.Exception异常。一旦这个命令执行成功，那么我们上面一直在运行的代码控制台将抛出异常：

使用以下命令可以撤回刚刚的场景模拟：

撤回之后，控制台将恢复正常的打印：

修改方法的返回值

使用以下命令可以修改方法的返回值：

控制台将打印出：

可以看到成功修改了test方法的返回值。

场景五：调用Mysql超时或出现异常

Chaosblade目前支持Mysql场景分为调用Mysql超时或者执行语句时出现异常。但是它是在JDBC这一层进行控制的，并没有真正的去控制mysql服务端。

这里先用JDBC写一个测试类：

这个JDBCConnection类直接使用JDBC来执行sql，依赖mysql-connector-java对应的jar。这里我在测试的时候发现，如果使用mysql-connector-java@5.1.47这个版本可以正常的进行故障模拟，如果使用mysql-connector-java@8.0.15版本则不能进行正常的故障模拟，具体原因还没有去查。

这个测试的功能是去进行select查询，并且如果在select的时候如果抛出异常会被捕获并且进行打印，并且还会计算select语句执行所花费的时间。

首先将上面的类运行起来，控制台将一直打印如下：

调用Mysql抛出异常

运行下面的命令开始故障模拟：

命令执行成功后，控制台将打印出异常：

使用以下命令可以撤回刚刚的场景模拟：

撤回之后，控制台将恢复正常的打印：

调用Mysql增加延迟

直接使用以下命令将使得在执行select时增加4秒的延时，注意都是在JDBC层控制的。

命令执行完成后，控制台将打印出：

场景六：服务器网络缓慢

Chaosblade也可以对网络进行控制，比如运行下面命令可以限制经过eth0网卡的网络都会延迟3秒：

不过Mac系统还不支持这个场景，因为它实际是利用的linux系统下的tc(Traffic Control)命令，所以要模拟的话就要使用linux系统，这里我就不去模拟了。

总结

本来，我是打算写一篇关于Chaosblade完整使用的文章的，但是目前看来它还不是很完善，所以这次就写到这里，我要去github上面提issue去了。

但是，我相信通过这篇文章，大家应该对Chaosblade的作用和功能都有所了解了，你们有收获就是我的目的。

有痛点才有创新，一个技术肯定都是为了解决某个痛点才出现的。请帮忙转发一下，如果想第一时间学习更多的精彩的内容，请关注微信公众号：1点25