HDFS 可靠性的设计实现

1. 安全模式

HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有通过了NameNode 的检查，一个数据块才被认为是安全的。当认为安全的数据块所占的比例达到了某个阈值（可配置），NameNode 才会退出。

2. SecondaryNameNode

Hadoop 中使用SecondaryNameNode 来备份NameNode 的元数据，以便在NameNode 失效时能从SecondaryNameNode 恢复出NameNode 上的元数据。SecondaryNameNode 充当NameNode 的一个副本，它本身并不处理任何请求，因为处理这些请求都是NameNode 的责任。

NameNode 中保存了整个文件系统的元数据，而SecondaryNameNode 的作用就是周期性（周期的长短也是可以配置的）保存NameNode 的元数据。这些元数据中包括文件镜像数据FsImage 和编辑日志数据EditLog。FsImage 相当于HDFS 的检查点，NameNode 启动时候会读取FsImage 的内容到内存，并将其与EditLog 日志中的所有修改信息合并生成新的FsImage；在NameNode 运行过程中，所有关于HDFS 的修改都将写入EditLog。这样，如果NameNode 失效，可以通过Secondary NameNode 中保存的FsImage 和EditLog 数据恢复出NameNode 最近的状态，尽量减少损失。

3. 心跳包（HeartBeats）和副本重新创建（re-replication）

如果HDFS 运行过程中，一部分DataNode 因为崩溃或是掉线等原因，离开了HDFS 系统，怎么办？为了保证NameNode 和各个DataNode 的联系，HDFS 采用了心跳包（Heartbeat）机制。位于整个HDFS 核心的NameNode，通过周期性的活动来检查DataNode 的活性，就像跳动的心脏一样，所以，这里把这些包就叫做心跳包。NameNode 周期性向管理的各个DataNode 发送心跳包，而收到心跳包的DataNode 则需要回复。因为心跳包总是定时发送的，所以NameNode 就把要执行的命令也通过心跳包发送给DataNode，而DataNode收到心跳包，一方面回复NameNode，另一方面就开始了与用户或者应用的数据传输。

如果侦测到了DataNode 失效，那么之前保存在这个DataNode 上的数据就变成不可用的。那么，如果有的副本存储在失效的DataNode 上，则需要重新创建这个副本，放到另外可用的地方。其他需要创建副本的情况包括数据块校验失败等。

4. 数据一致性

一般来讲，DataNode 与应用数据交互的大部分情况都是通过网络进行的，而网络数据传输带来的一大问题就是数据是否能原样到达。为了保证数据的一致性， HDFS 采用了数据校验和（CheckSum）机制。创建文件时，HDFS 会为这个文件生成一个校验和，校验和文件和文件本身保存在同一空间中。传输数据时会将数据与校验和一起传输，应用收到数据后可以进行校验，如果两个校验的结果不同，则文件肯定出错了，这个数据块就变成了无效的。如果判定数据无效，就需要从其他DataNode 上读取副本。

5. 租约

在Linux 中，为了防止出现多个进程向同一个文件写数据的情况，采用了文件加锁的机制。而在HDFS 中，同样也需要一种机制来防止同一个文件被多个人写入数据。 这种机制就是租约（Lease）。每当写入文件之前，一个客户端必须要获得NameNode 发放的一个租约。NameNode 保证同一个文件只会发放一个允许写的租约，那么就可以有效防止出现多人写入的情况。

不过，租约的作用不止于此。如果NameNode 发放租约之后崩溃了，怎么办？或者如果客户端获得租约之后崩溃了，又怎么办？第一个问题可以通过前面提到的恢复机制解决。而第二个问题，则通过在租约中加入时间限制来解决。每当租约要到期时，客户端需要向NameNode申请更新租约，NameNode“审核”之后，重新发放租约。如果客户端不申请，那就说明客户端不需要读写这一文件或者已经崩溃了，NameNode 收回租约即可。

6. 回滚

HDFS 与Hadoop 一样处于发展阶段。而某个升级可能会导致BUG 或者不兼容的问题，这些问题还可能导致现有的应用运行出错。这一问题可以通过回滚回到旧版本解决。HDFS 安装或者升级时，会将当前的版本信息保存起来，如果升级之后一段时间内运行正常，可以认为这次升级没有问题，重新保存版本信息，否则，根据保存的旧版本信息，将HDFS 恢复至之前的版本。

参考：深入理解大数据：大数据处理与编程实践