Netflix和它的混世猴子

软件系统的一个很重要的组成部分就是处理异常。在软件测试中，QA们尽可能模拟真实世界发生的各种异常状况，来验证系统的可靠性。然而，这种模拟往往在lab里面进行，而非production环境下。经验告诉我们：我们永远不可能在lab里面验证现实世界中的一切；而墨菲定律说但凡一件事可能发生，它就必然发生。某个进程可能被kill掉，操作系统可能崩溃，磁盘可能出现坏道，网络可能无法访问，DC可能大面积断电。所以，如果某种情况我们没能在lab里面模拟，那么，一旦发生，后果将是灾难性的。

我之前工作过的公司和我自己的公司，对这种可能性都假装视而不见。我们认为，某些事情发生的几率太小了，小到不值得我们花心思去处理；或者，某些事情发生后的后果太严重了，严重到我们只能祈祷上帝它不会发生。

Netflix可不愿意做这样一只将头埋在沙子里的鸵鸟。在将整个服务部署在AWS之初，它就希望自己的每个系统都有单独运作的能力。例如推荐系统挂掉的时候，视频点播应该能够继续运行。用户看到的推荐内容将变成热门电影，而非个性化的推荐。

为了实现这个目标，netflix在AWS建立了一个叫做 Chaos Monkey 的系统，这些猴子会在工作日期间随机杀死一些服务，制造一些混乱，来测试production下的稳定性。每当这些猴子开始骚扰，相关的工程师们就不得不放下手头的工作，手忙脚乱地寻求应对之策。随着系统的不断完善，猴子们的攻击能力和攻击范围也在不断提升，从而让整个netflix的服务稳定性不断前进。想想弹丸之地的以色列为何能成为一个让人望而生畏的军事强国，你就会理解为何netflix在云帝国里的坚实地位。如今 Chaos Monkey 已经升级为 Simian Army，并且随着Netflix将其开源，队伍还在不断壮大中。

对于很多小团队而言，也许目前的 Simian Army 没有太多的意义，但 Chaos Monkey 背后的思想值得我们学习和使用。

如果你对此感兴趣，可以看看Simian Army项目：Netflix/SimianArmy · GitHub。如果你能访问slideshare，也可以看看这个slides： RE: invent: Chaos Monkey。