HDFS块副本的冗余度构建流程

前言

---

在分布式存储系统中，数据往往通过以副本的形式来保持其冗余性。因为存储的集群规模大到一定程度，每天有若干节点挂掉是很常见的现象，单副本数据显然会存在高概率丢数据的情况的。那么这里有一个问题，当存储节点挂掉的时候，系统如何再次让数据保持和原先一样的冗余度呢？本文笔者结合HDFS块副本的情况来聊聊这个话题，这个处理过程在大多存储系统中想必也是通用的。

HDFS块状态类型

---

在这里先简单说说HDFS中一个block块的状态类型，有以下几种类型：

• InvalidateReplica，无效副本块，一般发生在文件删除操作后。
• PendingReplica，待复制副本块。
• NeedReplica(或被称为UnderReplica)，当前需要被重启replicate的副本。
• PostponedReplica，本认为stale的副本块。

以上的划分是一种比较粗粒度的状态划分，还未到细粒度比如是否在under-construction之类的阶段。后续副本块冗余度的重新构建和以上的副本将会密切相关。

HDFS块副本冗余度的重建

---

重建围绕的核心：NeedReplica

---

在HDFS重建副本块的过程里，最与之密切相关的是当前需要被复制的块状态副本，即NeedReplica。

HDFS在各种情况的检查中如果发现某个块的副本没有达到预期情况时，会加入一个块副本记录到NeedReplica对象里，而不是马上开始下发replicat