hadoop-2.4.0的Federation搭建

hadoop-2.4.0  Federation的搭建

注明：前提是自己已经编译好的hadoop版本或者cloudrea公司的cdh版本！          大数据讨论群：288396468

ns1的namenode：itr-mastertest01
ns2的namenode：itr-mastertest02
datanode：itr-nodetest01,itr-nodetest02


3.1 配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves)
3.1.1 hadoop-env.sh
  export JAVA_HOME=/usr/local/jdk1.7.0_45


3.1.2 core-site.xml


<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>


<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.4.0/tmp</value>
</property>


<property>
<name>fs.viewfs.mounttable.default.link./ns0</name>
<value>hdfs://itr-mastertest01:9000/</value>
</property>
<property>
<name>fs.viewfs.mounttable.default.link./ns1</name>
<value>hdfs://itr-mastertest02:9000</value>
</property>


3.1.3 hdfs-site.xml


<property>
<name>dfs.replication</name>
<value>2</value>
</property>


<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>


<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1</value>
</property>


<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>itr-mastertest01:9000</value>
</property>


<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>itr-mastertest01:50070</value>
</property>




<property>
<name>dfs.ha.namenodes.ns2</name>
<value>nn2</value>
</property>


<property>
<name>dfs.namenode.rpc-address.ns2.nn2</name>
<value>itr-mastertest02:9000</value>
</property>


<property>
<name>dfs.namenode.http-address.ns2.nn2</name>
<value>itr-mastertest02:50070</value>
</property>




3.1.6 slaves
itr-nodetest01
itr-nodetest02


3.1.7 删除其他节点的hadoop-2.4.0文件夹，然后把itr-mastertest01上的hadoop-2.4.0文件夹复制到itr-mastertest02、itr-nodetest01、itr-nodetest02节点


3.5 格式化namenode、启动namenode
  在itr-mastertest01上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
  在itr-mastertest01上执行hadoop/sbin/hadoop-daemon.sh start namenode
  
  在itr-mastertest02上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
   【clusterId的值与itr-mastertest01上执行的clusterId的值完全相同。如果不同，就不属于同一个federation】
  在itr-mastertest02上执行hadoop/sbin/hadoop-daemon.sh start namenode


3.6 启动datanode
  在itr-mastertest01上分别执行hadoop/sbin/hadoop-daemons.sh start datanode


3.8 启动resourcemanager和nodemanager
  在itr-mastertest01上执行 hadoop/sbin/start-yarn.sh start resourcemanager


4.验证：


viewFS是跨隶属于同一个federation的多个hdfs的文件管理系统。


使用hadoop0:50070/dfsclusterhealth.jsp查看集群情况
使用hadoop/bin/hdfs dfs -ls viewfs:///统一查看联邦中的数据内容