hadoop集群搭建完成后,每次开发完map/reduce程序后,需要用打包,上传数据等步骤,然后命令行输入hadoop jar...等方式来运行,非常繁琐,用hadoop-eclipse插件能非常方便的进行开发的同时进行测试。
第一步:
在hadoop发行包里去找到eclipse下的插件,例如.../hadoop-0.20.2/contrib/eclipse-plugin/目录下的hadoop-0.20.2-eclipse-plugin.jar,将此插件拷贝到eclipse/plugins目录内,关闭eclipse后重启。
第二步:
在eclipse内,选择Windows->Open Perspective,选择那个有小象图标的Map/Reduce,
第三步:
点击小象图标,右键选择新建一个hadoop location,开始配置参数:
其中Host:可以填写localhost或者说本地IP地址,Port为hadoop集群的jobtracker的端口号,另外在advance选项里去检查一下各个参数,只关心namenode或者说是jobtracker相关的配置项,我的集群使用的是8020和8021。保存配置,点击第一张图中左边树结构的小象,能够浏览hadoop集群上的目录文件信息,则配置成功,如下图
第四步:配置hadoop的本地目录Windows->preferences,选择本地目录,保存即可
第五步:开发一个新工程测试一下:
然后分别建Mapper类和Reducer类,但是有版本问题,我建出来的类使用的是mapred包,而不是新版本推荐使用的mapreduce包,可以完全自己写类,不用图上的Mapper向导和Reducer向导。
第六步:类开发完成后在hadoop上运行,选择Run as->Hadoop后没有反应,不知道怎么回事,不知道是插件为什么不工作了,
选择Run as->run configurations...
以Java application方式运行,在program arguments里填写Main函数里需要的参数,将VM heap space扩大一些,之后运行,O了。