Hadoop存储——HDFS

Hadoop存储——HDFS

Hadoop的存储系统是HDFS（Hadoop Distributed File System）分布式文件系统，对外部客户端而言，HDFS就像一个传统的分级文件系统，可以进行创建、删除、移动或重命名文件或文件夹等操作，与Linux文件系统类似。

1、HDFS架构

关于各个组件的具体描述如下所示：

名称节点（NameNode，仅一个），它在HDFS内部提供元数据服务；第二名称节点（Secondary NameNode），名称节点的帮助节点，主要是为了整合元数据操作（注意不是名称节点的备份）；数据节点（DataNode），它为HDFS提供存储块

（1）名称节点（NameNode）

它是一个通常在HDFS架构中单独机器上运行的组件，负责管理文件系统名称空间和控制外部客户机的访问。 NameNode决定是否将文件映射到DataNode上的复制块上。对于最常见的3个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。

（2）数据节点（DataNode）

数据节点也是一个通常在HDFS架构中的单独机器上运行的组件。Hadoop集群包含一个NameNode和大量DataNode。数据节点通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。数据节点响应来自HDFS客户机的读写请求。它们还响应来自NameNode的创建、删除和复制块的命令。名称节点依赖来自每个数据节点的定期心跳（heartbeat）消息。每条消息都包含一个块报告，名称节点可以根据这个报告验证块映射和其他文件系统元数据。如果数据节点不能发送心跳消息，名称节点将采取修复措施，重新复制在该节点上丢失的块。

（3）第二名称节点（Secondary NameNode）

第二名称节点的作用在于为HDFS中的名称节点提供一个Checkpoint，它只是名称节点的一个助手节点，这也是它在社区内被认为是Checkpoint Node的原因。

Secondary NameNode会定时到NameNode去获取名称节点的edits，并及时更新到自己fsimage上。这样，如果NameNode宕机，我们也