聊聊分布式存储系统的Decommission和Maintenance模式

前言

---

在分布式存储系统中，我们经常会遇到节点坏了挂掉的情况。这个时候我们通常的做法是将其进行送修处理。节点出现问题挂了这个现象本身不严重，这里的重点是我们如何依然保证其上数据对于用户的高可用性。这就是我们常说的存储节点的Decommission过程。本文笔者来聊聊Decommission过程以及它的扩展模式Maintenance模式。

Decommission模式

---

Decommission过程并不是指简单的存储节点停服务下线的操作，而是在节点允许停止服务前的一系列过程，以此保证系统的数据服务免受节点下线所带来的影响。这里的“一系列过程”包括有以下两个方面：

• 让中心控制节点获知当前节点为即将下线节点，使其从服务节点列表中剔除出去，不让数据读写请求转发到此节点来。
• 复制当前下线节点中的所有副本数据到其它节点中，保持数据的冗余度。

在上述2个步骤过程中，第二步是主要的过程，也将会耗费最多的时间。等这2个步骤都完成了，我们就可以放心地把节点进行停服务，然后送修处理了。

用一句话来概括Decommission过程的一个核心点：当前节点数据将不可用了，我们需要将此节点数据的副本数重新达到期望的数据副本数。

在Decommission过程中，我们需要将节点上所有的数据进行replication出去的操作，如果节点存储数据的量比较多，这个过程的开销还是比较高的。但有些时候，我们送修的机器可能只需要花少量时间进行修复，然后随后又可以恢复服务状态了，此时这个Decommission的操作显然代价有点高了。如果我们能够在保证数据又至少一个副本的可用情况下，允许节点有短暂的维护态