win7下配置eclipse mapreduce编程环境

1.      未解决问题：本地eclipse-plugin版本改变，会使得eclipse显示不了插件，最好不要改hadoop的版本。

 

配置步骤：

1.      下载与服务器hadoop相同版本的插件，可以自己下载源代码编译，或者从网上下载eclipse-hadoop-plugin。

 

2.      把plugin放到eclipse的plugins目录下，这里的eclipse版本必须是JavaEE的。

3.      修改eclipse中window/appleance中的hadoop路径为hadoop的安装路径，不要有中文。

4.      从window/show view里面添加mapreduce view。

5.      添加mapreduce location，ip，端口（从左到右分别与mapreduce-site.xml，core-site.xml相同,默认为9001和9000）,用户名设立必须是服务器的用户名。

注：这里我把9000变成9002了，这里的服务器用户名是pentaho。

 

6.      连接上后，会在DFS下显示，默认目录在/user/本机用户名，所以添加input和output文件夹必须在这个目录下。

这里的win7系统用户名是user-u1。

 

7.      在run configuration里面添加输入和输出目录，input output。

这里的input对应dfs上的user/user-u1/input

 

8.      运行时配置：

1.      设置环境变量HADOOP_HOME，PATH下面添加%HADOOP_HOME%\bin

2.      把自己编译或者从网上下载的hadoop.dll,winutils.exe等文件放到%HADOOP_HOME%\bin目录下面。

 

9.      测试WorldCount程序：

1.      创建mapreduce工程，这里会自动把对应的jar都导入到工程中。然后将hdfs-site.xml，core-site.xml，log4j.properties文件copy到src目录下面。

2.      运行之后出现结果。