本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。
1 federation的配置(分而治之,不同命名空间管理不同的dataNode)
-
1:配置统一视图viewfs:///
-
2: 配置具体的挂载
-
core-site.xml配置
<configuration> <property> <name>fs.defaultFS</name> <value>viewfs:///</value> </property> <property> <name>fs.viewfs.mounttable.default.link./my</name> <value>hdfs://Master/</value> </property> <property> <name>fs.viewfs.mounttable.default.link./your</name> <value>hdfs://Worker1/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/log_all/hadoop</value> </property> </configuration>
2hdfs-site.xml配置:
-
1:指定dfs.nameservices,也即两个Hdfs实例。比如:mycluster,yourcluster
-
2:配置两个Hdfs实例的 rpc-address和http-address。
<property> <name>dfs.nameservices</name> <value>mycluster, yourcluster</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster</name> <value>Master:9000</value> </property> <property> <name>dfs.namenode.rpc-address.yourcluster</name> <value>Worker1:9000</value> </property> <property> <name>dfs.namenode.http-address.mycluster</name> <value>Master:50070</value> </property> <property> <name>dfs.namenode.http-address.yourcluster</name> <value>Worker1:50070</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/dfs/data</value> </property> <property> <name>dfs.datanode.edit.dir</name> <value>/home/dfs/edit</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>
3 启动
-
1:namenode1上执行格式化(注意:namenode1和namenode2上的clusterid要保持一致。)
$HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty
-
2:在namenode2上执行格式化(注意:namenode1和namenode2上的clusterid要保持一致。)
$HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty
-
3:在namenode1启动namenode,在namenode2启动namenode
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
4 总结
秦凯新 于深圳 20181219