Windows环境下调试hadoop程序笔记

环境准备

1.系统：windows10

2.java环境：jdk1.8

3.添加环境变量：JAVA_HOME

4.下载hadoop 我这里下载的是hadoop2.7.4 

5.添加环境变量：HADOOP_HOME=解压hadoop的路径 我的是：D：\hadoop2.7.4\

6.将D：\hadoop2.7.4\bin和D：\hadoop2.7.4\sbin添加到系统环境变量path中

7.这里还需要下载一个重要的东西 点击下载：hadooponwindows（经测试hadoop2.7.4是可以用的，再高的版本这里没有进行测试）

修改配置文件（基本上都是默认配置）

1.etc/hadoop/core-site.xml

2.etc/hadoop/mapred-site.xml

3.etc/hadoop/hdfs-site.xml

4.etc/hadoop/yarn-site.xml

INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from  master doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

5./etc/hadoop/hadoop-env.cmd

格式化并启动hadoop

1.格式化nanenode

打开cmd窗口 切换到hadoop的bin目录输入以下命令

2.启动hadoop

切换到hadoop的sbin目录下输入以下命令

会打开四个窗口 namenode datanode resourcemanager namenodemanager

停止hadoop在该目录下输入

遇到的问题

格式化namenod报java_home为正确设置，解决方式：请看修改配置文件第五步；

无法启动nodemanager，可以参考修改配置文件第四步

现在windows环境下的hadoop安装完成。

参考博主链接：http://blog.csdn.net/tornadojava/article/details/56013420