windows下搭建hadoop集群

1. 安装虚拟机配置网络, 本教程是基于centos下进行的

2.改Hadoop节点的名字

    sudo vi /etc/sysconfig/network

3.将节点名字和ip地址进行映射

    sudo vi /etc/hosts

    192.168.2.201 weekend110

4. 安装jdk

    #解压，将jdk解压到app目录中

    tar -zxvf jdk-7u55-linux-i586.tar.gz -C app/

    sudo vi /etc/profile

    #在文件最后添加

     export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585

     export PATH=$PATH:$JAVA_HOME/bin

    #刷新配置

    source /etc/profile

5.安装hadoop

     tar -zxvf hadoop-2.7.3.tar.gz -C app/

     进入etc下修改配置

    a.

         vi hadoop-env.sh

         export JAVA_HOME=/usr/java/jdk1.7.0_65 

     b.

        vi core-site.xml  

        <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
        <property>
            <name>fs.defaultFS</name>   
                    <value>hdfs://weekend110:9000</value>    
            </property>

            <property>
                   <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/app/hadoop-2.4.1/tmp</value>  //所有的数据都放在tmp下的
        </property>

    c.

        hdfs-site.xml

       

         <property>

             <name>dfs.replication</name>

             <value>1</value>

         </property>

     d.

          mv mapred-site.xml.template mapred-site.xml
          vim mapred-site.xml
          <!-- 指定mr运行在yarn上 -->
          <property>
                <name>mapreduce.framework.name</name>    
                <value>yarn</value>
         </property>

        e.

          yarn-site.xml  资源调用的一些配置
 
          <!-- 指定YARN集群的老大（ResourceManager）的地址 -->
          <property>
                  <name>yarn.resourcemanager.hostname</name>
                  <value>weekend110</value>
          </property>
          <!-- reducer获取数据的方式，nodemanage是yarn里面的重节点 -->
          <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>   
         </property>

注意：

6.

配置完之后，还有一些要做，因为hadoop都是一些网络程序，namenode，datanode都是网络服务，这些服务会被linux防火墙关掉，方法一，将linux中hadoop用到的端口都打开，或者把防火墙关闭就可以了

防火墙是一个服务，把这个服务关掉就可以了

sudo service iptables status

关掉防火墙

sudo service iptables stop

因为它是一个自启服务，再次启动还会打开，所以要把自启动服务给关掉，不让它自启

查看状态

sudo chkconfig iptables --list

用sudo chkconfig iptables off 就可以关掉了

7.

将hadoop添加到环境变量中

       export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1

       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

8.格式化文件系统

       hadoop namenode -format

9.进入到sbin目录启动hadoop

      start-dfs.sh