hadoop windows下安装

先bb一下,woc开始使用Cygwin来模拟linux配置hadoop,然后各种错误,找着找着发现原来2.0+的hadoop可以直接在windows下配置.当时真是1w头神兽飞过.

下载的Hadoop

• 地址下载 
  http://hadoop.apache.org

• 下载步骤 
  

  

  选择清华开源镜像站 
  

  选择你喜欢的版本。稳定是稳定版

  

• 解压

  放在你喜欢的文件夹下

• 关于winutils的下载 
  还需要下载winutils.exe，需要对应的版本。地址https://github.com/steveloughran/winutils，下载之后直接解压，将bin目录里的内容直接覆盖到hadoop的bin

配置Hadoop的

• 配置首先环境变量 
  这个不用多说，在路径中添加路径$ {} hadoopHome \ BIN，例如：” d：\ Hadoop的\ BIN”，不要忘了加”;”与前面的隔开

• 配置的hadoop文件 
  所有的配置文件都在d：\的hadoop \等\的hadoop的目录下，使用记事本++ /记事本/ ..打开。

  • 文件1：D:\hadoop\etc\hadoop\hadoop-env.cmd jdk路径不要有空格

    set JAVA_HOME=D:\RequiredTools\Java\jdk8u45 

    • 1

  • 文件2：D:\hadoop\etc\hadoop\core-site.xml

      <configuration>
        <property>  
    　　　　<name>fs.default.name</name>  
    　　　　<value>hdfs://localhost:9000</value>  
    　　 </property>     
      </configuration>

    • 1
    • 2
    • 3
    • 4
    • 五
    • 6

  • 文件3：D:\hadoop\etc\hadoop\hdfs-site.xml

    <configuration>
    <property>  
    　　<name>dfs.replication</name>  
    　　<value>1</value>  
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/hadoop/data/dfs/namenode</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/hadoop/data/dfs/datanode</value>
    </property> 
    </configuration>

    • 1
    • 2
    • 3
    • 4
    • 五
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

  • 文件4：D:\hadoop\etc\hadoop\mapred-site.xml mapred-site.xml是复制mapred-site.xml.template，去掉模板

    <configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
    </configuration>

    • 1
    • 2
    • 3
    • 4
    • 五
    • 6
  • 文件5：D:\hadoop\etc\hadoop\yarn-site.xml 
    

    <configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

    • 1
    • 2
    • 3
    • 4
    • 五
    • 6
    • 7
    • 8
    • 9
    • 10

---

启动的Hadoop

进入到hadoop-> bin目录下，shift +右键打开命令行..win8的话建议使用管理员运行cmd

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd   //先启动dfs  
start-yarn.cmd  //再启动yarn  
//或者
//start-all.cmd //相当于以上的两条命令

• 1
• 2
• 3
• 4
• 五
• 6

查询查询结果启动 
在地址栏输入侧http://localhost:8088 

在地址栏输入侧http://localhost:50070 

完成安装 
关于一些配置说明我也不很的英文清楚，先配置上运行起来再去慢慢弄懂

配置说明：http : //blog.csdn.net/xuechongyang/article/details/8691518

---

参考：http : //blog.csdn.net/rav009/article/details/70214788