HDFS HA: 高可靠性分布式存储系统解决方案的历史演进

1. HDFS 简介 

   HDFS，为Hadoop这个分布式计算框架提供高性能、高可靠、高可扩展的存储服务。HDFS的系统架构是典型的主/从架构，早期的架构包括一个主节点NameNode和多个从节点DataNode。NameNode是整个文件系统的管理节点，也是HDFS中最复杂的一个实体，它维护着HDFS文件系统中最重要的两个关系：

1. HDFS文件系统中的文件目录树，以及文件的数据块索引，即每个文件对应的数据块列表。
2. 数据块和数据节点的对应关系，即某一块数据块保存在哪些数据节点的信息。
   

     其中，第一个关系即目录树、元数据和数据块的索引信息会持久化到物理存储中，实现是保存在命名空间的镜像fsimage和编辑日志edits中。而第二个关系是在NameNode启动后，有DataNode主动上报它所存储的数据块，动态建立对应关系。

     在上述关系的基础上，NameNode管理着DataNode，通过接收DataNode的注册、心跳、数据块提交等信息的上报，并且在心跳中发送数据块复制、删除、恢复等指令；同时，NameNode还为客户端对文件系统目录树的操作和对文件数据读写、对HDFS系统进行管理提供支持。

     DataNode提供真实文件数据的存储服务。它以数据块的方式在本地的Linux文件系统上保存了HDFS文件的内容，并且对外提供文件数据的访问功能。客户端在读写文件时，必须通过NameNode提供的信息，进一步和DataNode进行交互；同时，DataNode还必须接NameNode的管理，执行NameNode的指令，并且上报NameNode感兴趣的事件，以保证文件系统稳定，可靠，高效的运行。架构图如下：

      在HDFS集群中NameNode存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现故障，那么整个集群将无法使用，直到NameNode重新启动。

NameNode主要在以下两个方面影响HDFS集群: