Hadoop-HDFS联邦

HDFS 分层

HDFS 主要可以分为两层：

• namespace：由目录、文件和块组成；它支持所有与命名空间相关的文件系统操作，如：创建、删除、修改、列出文件或者目录
• 块存储服务：块存储服务分为2个部分：
  1.块管理：HDFS 的块管理存在于NameNode中，通过处理注册和周期性的心跳来与DataNode交互，通过DataNode 块上报的操作，返回对应的处理指令来管理 块池（blockPool）中的数据块，比如块复制、快删除
  2、存储：DataNodes 在本地文件系统上进行数据块存储，并允许读写访问

在单NameNode 的架构中，一个NameNode 管理一个Namespace，NameNode 管理的元数据会全部加载到其内存中，而单台NameNode所在的节点的内存是有上限的，因此也会造成NameNode 的存储瓶颈；再者，所有的HDFS客户端都操作同一NameNode，文件系统的吞吐量也有上限

HDFS 联邦

HDFS联邦可以使用多个独立的NameNode 及其namespace。NameNodes 整体是联合的，但是单个NameNode是独立的，NameNode之间不需要互相协调和互相通讯。联邦中的所有的DataNodes 作为数据块的公共存储，他们会向所有的NameNode进行注册和汇报，同时也会响应NameNode 发送的指令进行块数据的新增，删除等操作。

在HDFS 联邦中，某一个NameNode 中的一个文件的数据块及其副本块，会分散到联邦中的DataNodes中，即使其宕机，也不会影响其余的NameNode 的正常访问

• 块池（blockPool）：单个NameNode 的 namespace 中的所有的数据块组成 的集合叫 这个NameNode 的块池，不与其他的NameNode 协调，一个namespace 与其对应的块池被称作 命名空间卷（Namespace Volume）。当一个NameNode/ Namespace 被删除时，DataNodes上相应的块池的数据块也会被删除
• 集群ID（ClusterID）：ClusterID用于标注集群中所有的节点，在格式化NameNode时，会提供或者自动生成ClusterId。

优势

• HDFS不再受到NameNode 的内存限制，可平行扩展
• 文件系统的吞吐量也不再受到单NameNode 的限制
• 在单个NameNode中，多用户环境不提供隔离，如一个程序会导致NameNode过载并减缓其余应用程序的速度。使用多NameNode ，可以将不同的应用隔离在不同的namespace 中

配置

1.将 dfs.nameservices 参数添加到配置中，并使用逗号分隔的 NameServiceID 列表对其进行配置。 Datanodes 将使用它来确定集群中的 Namenodes。
2.对于每个 Namenode 和辅助 / 备份 / 检查点节点，在通用配置文件中添加配置参数，并以对应的 NameServiceID 为后缀。以下是一个示例：

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1,ns2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1</name>
    <value>nn-host1:rpc-port</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1</name>
    <value>nn-host1:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address.ns1</name>
    <value>snn-host1:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2</name>
    <value>nn-host2:rpc-port</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2</name>
    <value>nn-host2:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address.ns2</name>
    <value>snn-host2:http-port</value>
  </property>

  .... 其他通用配置 ...
</configuration>