史上最详细的Hadoop环境搭建(五)之二

5、 配置hdfs-site.xml

 
 

   
   

    
    

   
   
   
   

    
    

     
     <configuration>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <!—配置三台NameNode –>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.nameservices
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>ns1,ns2,ns3
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <!—第一台NameNode的机器名和rpc端口，指定了NameNode和DataNode通讯用的端口号 –>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.rpc-address.ns1
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior01.chybinmy.com:8020
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
   
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <!—第一台NameNode的机器名和rpc端口，备用端口号 –>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.serviceerpc-address.ns1
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior01.chybinmy.com:8022
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <

!—第一台NameNode的http页面地址和端口号 –>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.http-address.ns1
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior01.chybinmy.com:50070
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <!—第一台NameNode的https页面地址和端口号 –>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.https-address.ns1
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior01.chybinmy.com:50470
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.rpc-address.ns2
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior02.chybinmy.com:8020
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
   
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.serviceerpc-address.ns2
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior02.chybinmy.com:8022
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.http-address.ns2
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior02.chybinmy.com:50070
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.https-address.ns2
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior02.chybinmy.com:50470
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.rpc-address.ns3
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior03.chybinmy.com:8020
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
   
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.serviceerpc-address.ns3
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior03.chybinmy.com:8022
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.http-address.ns3
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior03.chybinmy.com:50070
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>dfs.namenode.https-address.ns3
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior03.chybinmy.com:50470
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     </configuration>
    
    
   
   

6、 配置core-site.xml

 
 

   
   

    
    

   
   
   
   

    
    

     
     <configuration>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>hadoop.tmp.dir
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     </configuration>
    
    
   
   

hadoop.tmp.dir设置hadoop临时目录地址，默认时，NameNode和DataNode的数据存在这个路径下。

7、 配置slaves文件

 
 

   
   

    
    

   
   
   
   

    
    

     
     bigdata-senior01.chybinmy.com
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     bigdata-senior02.chybinmy.com
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     bigdata-senior03.chybinmy.com
    
    
   
   

8、 配置yarn-site.xml

 
 

   
   

    
    

   
   
   
   

    
    

     
     <configuration>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>yarn.nodemanager.aux-services
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>mapreduce_shuffle
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
     
     </property>     
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>yarn.resourcemanager.hostname
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>bigdata-senior02.chybinmy.com
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
     
     </property>     
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>yarn.log-aggregation-enable
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>true
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
     
     </property>     
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>yarn.log-aggregation.retain-seconds
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>106800
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
     
     </property>     
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     </configuration>
    
    
   
   

9、 分发到其他节点

分发之前先将share/doc目录删除，这个目录中是帮助文件，并且很大，可以删除。

 
 

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 hadoop-
     
     2.5
     
     .0]$ scp -r /opt/modules/ /opt/modules/hadoopfederation bigdata-senior02.chybinmy.com:/opt/modules
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 hadoop-
     
     2.5
     
     .0]$ scp -r /opt/modules/hadoopfederation bigdata-senior03.chybinmy.com:/opt/modules
    
    
   
   

10、 格式化NameNode

在第一台上进行NameNode格式化。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

这里一定要指定一个集群ID，使得多个NameNode的集群ID是一样的，因为这三个NameNode在同一个集群中，这里集群ID为hadoop-federation-clusterId。

在第二台NameNode上。

[hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

在第二台NameNode上。

[hadoop@bigdata-senior03 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

11、 启动NameNode

在第一台、第二台、第三台机器上启动NameNode：

 
 

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 hadoop-
     
     2.5
     
     .0]$ sbin/hadoop-daemon.sh start namenode
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior02 hadoop-
     
     2.5
     
     .0]$ sbin/hadoop-daemon.sh start namenode
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior03 hadoop-
     
     2.5
     
     .0]$ sbin/hadoop-daemon.sh start namenode
    
    
   
   

启动后，用jps命令查看是否已经启动成功。

查看HDFS Web页面，此时三个NameNode都是standby状态。

12、 启动DataNode

 
 

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 hadoop-
     
     2.5
     
     .0]$ sbin/hadoop-daemon.sh start datanode
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior02 hadoop-
     
     2.5
     
     .0]$ sbin/hadoop-daemon.sh start datanode
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior03 hadoop-
     
     2.5
     
     .0]$ sbin/hadoop-daemon.sh start datanode
    
    
   
   

启动后，用jps命令确认DataNode进程已经启动成功。

四十九、测试HDFS Federation

1、 修改core-site.xml

在bigdata-senior01机器上,修改core-site.xml文件，指定连接的NameNode是第一台NameNode。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

 
 

   
   

    
    

   
   
   
   

    
    

     
     <configuration>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
     
     
     <name>fs.defaultFS
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
     
     
     <value>hdfs://bigdata-senior01.chybinmy.com:8020
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
  
     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     <property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <name>hadoop.tmp.dir
     
     </name>
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     <value>/opt/modules/hadoopfederation/hadoop-2.5.0/data/tmp
     
     </value>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     </property>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     </configuration>
    
    
   
   

2、 在bigdate-senior01上传一个文件到HDFS

 
 

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 hadoop-
     
     2.5
     
     .0]$ bin/hdfs dfs -mkdir /tmp
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 hadoop-
     
     2.5
     
     .0]$ bin/hdfs dfs -put ~/shuffle_daily.sh /tmp/shuffle_daily.sh
    
    
   
   

3、 查看HDFS文件

可以看到，刚才的文件只上传到了bigdate-senior01机器上的NameNode上了，并没有上传到其他的NameNode上去。

这样，在HDFS的客户端，可以指定要上传到哪个NameNode上，从而来达到了划分NameNode的目的。

后记

这篇文章的操作步骤并不是工作中标准的操作流程，如果在成百上千的机器全部这样安装会被累死，希望读者可以通过文章中一步步地安装，从而初步了解到Hadoop的组成部分，协助过程等，这对于Hadoop的深入使用有很大的帮助。