Win10不需要Cygwin搭建大数据测试环境（1）-Hadoop

系列文章

1：《Win10不需要Cygwin搭建大数据测试环境（1）-Hadoop》
2：《Win10不需要Cygwin搭建大数据测试环境（2）-HBase》
3：《Win10不需要Cygwin搭建大数据测试环境（3）-Java操作HBase》
4：《Win10不需要Cygwin搭建大数据测试环境（4）-Hive》

前言

一直想在windows上装一个hadoop，总是需要cygwin，这个东西一直不是很喜欢，所以一直没有在windows下安装。
今天偶然发现了一篇文章，不需要cygwin，马上尝试一下。
本文是主要参考的文章
http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

准备工作

1：安装JDK1.8。
2：环境变量中添加JAVA_HOME。
3：下载hadoop2.7.3。
4：解压到D盘，路径为D:\hadoop2.7.3。
5：环境变量中添加HADOOP_HOME=D:\hadoop2.7.3\
6：将D:\hadoop2.7.3\bin和D:\hadoop2.7.3\sbin添加到path中。
7：下载一个重要的东西。

hadooponwindows
地址：https://github.com/sardetushar/hadooponwindows
这个是基于hadoop2.7.1的，作者一直没有更新。但是2.7.3是可以运行的，不知道以后会怎么想样！ 如果谁有时间可以搞一下这个！

8：删除hadoop下的etc和bin。
9：将hadooponwindows里的etc和bin拷贝到D:\hadoop2.7.1\下。

准备工作完成。

修改配置文件

1：etc/hadoop/core-site.xml

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2：etc/hadoop/mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3：etc/hadoop/hdfs-site.xml

需要参一下这个连接，解释地址参数如何写。

http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/hadoop-2.7.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
     <value>file:/hadoop-2.7.3/data/datanode</value>
   </property>
</configuration>

4：etc\hadoop\yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5：etc/hadoop/hadoop-env.cmd

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

“program files”由于有空格所以会出错，采用上面的形式就OK了。

执行操作

1：格式化namenode

hdfs namenode -format

2：启动Hadoop

sbin目录下执行

start-all
　
启动了4个窗口，namenode,datanode,yarn resourcemanager,yarn nodemanager.

小插曲：其中yarn resourcemanager这个报错，提示8088端口被占用。结果是我本地的一个软件把这个端口给用了，停掉软件，重新启动正常。

3：停止Hadoop

sbin下执行

stop-all
Hadoop都停止了。

结束语

这样hadoop就在windows上正常运行了。

Resourcemanager GUI address - http://localhost:8088

Namenode GUI address – http://localhost:50070

至此windows下Hadoop安装成功！