1、下载hadoop1.2.1.tar.gz文件,直接解压到D盘即可;
2、编译对应版本的hadoop-eclipse插件(可以看下一片文章,如何编译hadoop-eclipse插件)。把编译好的jar拷贝到eclipse/plugins下,重启eclipse即可;
3、若插件安装成功的话,打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要配置Hadoop installation directory。配置完成后退出;
4、配置Map/Reduce Locations:
在Window-->Show View中打开Map/Reduce Locations,右键-->New Hadoop Location。弹出如下对话框:
需要配置Location name,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如果配置成功,可以在eclipse中看到远程hdfs中的文件,如下图:
5、新建项目:File-->New-->Other-->Map/Reduce Project。
随便可以取个工程名。把hadoop安装目录下的/src/example/org/apache/hadoop/example/WordCount.java复制到刚才新建的项目下面。
6、在远程linux上,上传文件到hdfs:
hadoop fs -put hello /
7、运行代码:
1.在新建的项目WordCount,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,选择项目和类,然后点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,用空格分开。
3.最后点击“Run”即可。运行结束后,可以在eclipse的视图中看到结果。
注:运行mapreduce程序的参数中,输出路径一定不能再hdfs中存在,否则报错!
补充:在windows eclipse上远程调试mapreduce程序,可能会报一个权限的错误,如何解决请看上一篇日志!