hadoop学习笔记-第三天-搭建集群

    hadoop可分为：

    1、本地（单机）模式，默认情况

    2、伪分布模式，是在单节点上运行“集群”

    3、全分布模式

    单机模式在昨天的测试中已经测过，不再记录。

全分布模式配置过程记录：

   1、准备两台虚拟机，网络可以互相连接，/etc/hosts文件如下

127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.203.111 hdpNameNode
192.168.203.112 hdpDataNode

       需要注意的时，127.0.0.1最好不要对应hostname，或者把它放到最下面去，当后面的配置文件中使用hostname时，可能会找错  。datanode无法连接namenode时，这就是这种常见的错误， http://wiki.apache.org/hadoop/ConnectionRefused

    2、配置无密码ssh访问，即在hdpNameNode可以无密码，具体配置不在记录

     

[hdpuser@hdpNameNode hadoop]$ ssh hdpDataNode
Last login: Sat Dec  7 22:17:09 2013 from hdpnamenode
[hdpuser@hdpDataNode ~]$ 

    3、到/home/hdpuser/hadoop-2.2.0/etc/hadoop配置后续文件

    4、[hdpuser@hdpDataNode hadoop]$ cat masters 
           hdpNameNode

    5、[hdpuser@hdpDataNode hadoop]$ cat slaves 
            hdpDataNode

   6、配置 core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdpNameNode:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/home/hadoop/tmp</value>
</property>
        <property>
               <name>hadoop.proxyuser.hduser.hosts</name>
               <value>*</value>
       </property>
       <property>
               <name>hadoop.proxyuser.hduser.groups</name>
               <value>*</value>
       </property>

</configuration>

    7、配置 mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>Yarn</value>
</property>

</configuration>

    8、配置 hdfs-site.xml

<configuration>
         <property>
                  <name>dfs.namenode.name.di