hadoop map reduce在windows下调试运行的配置步骤

2019独角兽企业重金招聘Python工程师标准>>>

1、项目的maven的pom.xml中，hadoop-client.jar版本必须与本地的hadoop安装版本必须一致，不然会报错。

2、hadoop2.4版本后已经没有winutil.exe和hadoop.dll文件，从http://download.csdn.net/download/myamor/8393471 或者 百度云盘链接：https://pan.baidu.com/s/1miXLE6s （密码：x32b   ），下载hadoop-common-2.2.0-bin-master.zip后将hadoop.dll拷贝到c:/windows/system32中，然后将bin目录覆盖到本地的hadoop的安装路径的bin目录中。

3、将core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml拷贝到项目工程的src/resources目录。在core-site.xml中注释掉以下代码：

<!--<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop.node.master:8020</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/hadoop-2.5.0/data/tmp</value>
</property>-->

在mapred-site.xml中配置以下属性：

<property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
</property>

4、配置windows的环境变量：HADOOP_HOME、PATH。

至此，在intellij idea或者eclipse运行main函数，就可以在本地调试了。

 

转载于:https://my.oschina.net/u/3771618/blog/1615325