Hadoop之NameNode、DataNode

Namenode名字节点

对于Namenode的分析，分以下几个部分：

• 文件系统目录树管理

• 数据块和数据节点管理

• 租约管理
  租约是Namenode给与租约持有者(客户端)在规定时间内拥有文件权限(写文件)的合同，Namenode会执行租约的发放、回收、检查以及恢复等操作。

• 缓存管理
  2.3新增了集中式缓存管理功能，允许用户将文件和目录保存到HDFS缓存中。HDFS的集中式缓存是由分布在Datanode上的堆外内存组成的，并且由Namenode统一管理。

• FSNamesystem
  Namenode的FSNamesystem类是用于处理HDFS操作逻辑的（读 写 追加等）

• Namenode的启动和停止
  在启动时会进入安全模式，在安全模式下Namenode不会接受客户端对空间的修改

Namenode的启动

这些操作都是在安全模式中进行的：

• 首先加载命名空间镜像（fsimage）并且合并编辑日志（editslog），建立Namenode的第一关系：文件系统目录树。
• 接受Datanode的块汇报（blockReport），获的数据块的存储信息，建立第二关系：数据块与副本和数据节点之间的对应关系

当Namenode收集到的阈值比例满足最低副本系数的数据块时才可以离开安全模式。

HA高可用

HDFS的高可用(High Availability, HA)方案就是为了解决Namenode的单点故障而产生的。
在HA HDFS集群中会同时运行两个Namenode

• 一个作为活动的(Active) Namenode,
• 一个作为备份的(Standby) Namenode.

备份Namenode的命名空间与活动Namenode是实时同步的,所以当活动Namenode发生故障而停止服务时,备份Namenode可以立即功换为活动状态,而不影响HDFS集群的服务。

1. HA架构

在一个HA集群中,会配置两个独立的Namenode。在任意时刻,只有一个节点会作为活动的节点,另一个节点则处于备份状态。活动的Namenode负责执行所有修改命名空间以及删除备份数据块的操作,而备份的Namenode则执行同步操作以保持与活动节点命名空间的一致性。

如图3-64所示，为了使备份节点与活动节点的状态能够同步一致，两个节点都需要与一组独立运行节点（