hadoop集群添加和格式化namenode的步骤

ClusterID

添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。

格式化Namenodes

第一步: 使用如下命令格式化一个Namenode：

> $HADOOP_PREFIX_HOME/bin/hdfs namenode -format [-clusterId <cluster_id>]
选择一个唯一的cluster_id，并且这个cluster_id不能与环境中其他集群有冲突。如果没有提供cluster_id，则会自动生成一个唯一的ClusterID。

第二步: 使用如下命令格式化其他Namenode：

> $HADOOP_PREFIX_HOME/bin/hdfs namenode -format -clusterId <cluster_id>
注意：步骤2中的cluster_id必须与步骤1中的cluster_id一致。如果它们是不同的，则剩余的Namenode将不会成为联合集群的一部分。

为已存在的HDFS集群添加一个新的Namenode

步骤如下：

配置参数dfs.federation.nameservices。
NameServiceID后缀更新配置。在0.20版本之后配置项的名称已经更改。对于federation，必须使用新的配置参数。
将与配置相关的新的Namenode添加到配置文件中。
将配置文件传播的集群中所有的节点上。
启动新的Namenode、Secondary/Backup。
刷新Datanode收集新添加的Namenode，执行命令如下：
> $HADOOP_PREFIX_HOME/bin/hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>
上述命令必须在集群中所有的Datanode上运行。

 

格式化namenode的作用：生成fsimage