浅谈Hadoop容错机制

简单介绍一下Hadoop中数据存储的可靠性和完整性，其中包括HDFS的容错机制、NameNode(元数据结点)的单点失效解决机制、Block数据块的多副本存储机制、

NameNode与DataNode之间的心跳检测机制、数据存储等。

（一）HDFS中NameNode单点问题

HDFS这种分布式的存储系统，存在中心结点，那么这个中心结点的可靠性就是整个集群的可靠性的关键，对于版本0.20.x的hadoop来说，主要是有一个叫做SecondaryNameNode的机制来解决，这个结点周期性的从NameNode 结点上下载磁盘镜像和日志文件，在本地将日志合并到镜像中，产生新的镜像，上传到NameNode，当NameNode结点重启时就会加载此最新的镜像文件，这个过程叫做CheckPoint，那么SecondaryNameNode会周期性的做CheckPoint，但是这种机制对于单点问题来说不是很理想，因为你做CheckPoint只能保存上次的元数据，那么CheckPoint之后的元数据在NameNode 失效后是会丢失的。

    FaceBook提出了Avatar机制来解决NameNode 的单点问题，这里多设置了一个叫做 Standby NameNode 的结点，原来的NameNode  叫做 PrimaryNameNode, 另外还有一个结点 NFS 用来存储 Primary NameNode 的日志和镜像文件。这里跟前面的解决机制不同的是 Standby NameNode 这个结点是 热备结点， 它不仅具有前面的CheckPoint的功能，还会周期性的读取 NFS结点上的 PrimaryNameNode 的日志来保持命名空间的同步，此外 DataNode 会同时向 Standby NameNode 和 PrimaryNameNode 发送心跳信息和数据块信息，这样࿰