java远程Hadoop_windows下eclipse远程连接hadoop集群开发mapreduce

转载请注明出处，谢谢

2017-10-22 17:14:09

之前都是用python开发maprduce程序的，今天试了在windows下通过eclipse java开发，在开发前先搭建开发环境。在此，总结这个过程，希望能够帮助有需要的朋友。

用Hadoop eclipse plugin，可以浏览管理HDFS，自动创建MR程序的模板文件，最爽的就是可以直接Run on hadoop。

1、安装插件

下载hadoop-eclipse-plugin-1.2.1.jar，并把它放到 F:\eclipse\plugins 目录下。

2、插件配置与使用

2.1指定hadoop的源码目录

2.2、打开Map/Reduce视图

”Window”->”Open Perspective”->”Other”->“Map/Reduce”.

“Window”->”Show views”->”Other”->”Map Reduce Tools”->”Map/Reduce locations”.

正常情况下回出现左上角的HDFS标志，等eclipse与hadoop集群连接后，会在这显示HDFS目录结构。

2.3、新建Map/Reduce Localtion

点击图中红色框或者鼠标右击选中新建，然后出现下面的界面，配置hadoop集群的信息。

这里需要注意的是hadoop集群信息的填写。因为我是在windows下用eclipse远程连接hadoop集群【完全分布式】开发的，所以这里填写的host是master的IP地址。如果是hadoop伪分布式的可以填写localhost。

【Jser name】填写的windows电脑的用户名，右击【我的电脑】-->【管理】-->【本地用户和组】-->【修改用户名字】