Hadoop联邦机制实现多命名空间详细配置说明-Hadoop商业环境实战

本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。

1 federation的配置（分而治之，不同命名空间管理不同的dataNode）

• 1：配置统一视图viewfs:///

• 2: 配置具体的挂载

• core-site.xml配置

    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>viewfs:///</value>
            </property>
            <property>
                    <name>fs.viewfs.mounttable.default.link./my</name>
                    <value>hdfs://Master/</value>
            </property>
            <property>
                    <name>fs.viewfs.mounttable.default.link./your</name>
                    <value>hdfs://Worker1/</value>
            </property>
    	    <property>
    				<name>hadoop.tmp.dir</name>
    				<value>/log_all/hadoop</value>
    	    </property>
    </configuration>
  

2hdfs-site.xml配置：

• 1：指定dfs.nameservices，也即两个Hdfs实例。比如：mycluster,yourcluster

• 2：配置两个Hdfs实例的 rpc-address和http-address。

    	<property>
                <name>dfs.nameservices</name>
                <value>mycluster, yourcluster</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.mycluster</name>
                <value>Master:9000</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.yourcluster</name>
                <value>Worker1:9000</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.mycluster</name>
                <value>Master:50070</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.yourcluster</name>
                <value>Worker1:50070</value>
        </property>
    	
  
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/dfs/data</value>
        </property>
        <property>
                <name>dfs.datanode.edit.dir</name>
                <value>/home/dfs/edit</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
  

3 启动

• 1:namenode1上执行格式化(注意：namenode1和namenode2上的clusterid要保持一致。)

     $HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty
  

• 2:在namenode2上执行格式化(注意：namenode1和namenode2上的clusterid要保持一致。)

    $HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty
  

• 3：在namenode1启动namenode，在namenode2启动namenode

     $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
  

4 总结

秦凯新 于深圳 20181219