Eclipse下配置hadoop环境

hadoop集群搭建完成后，每次开发完map/reduce程序后，需要用打包，上传数据等步骤，然后命令行输入hadoop jar...等方式来运行，非常繁琐，用hadoop-eclipse插件能非常方便的进行开发的同时进行测试。

 

第一步：

         在hadoop发行包里去找到eclipse下的插件，例如.../hadoop-0.20.2/contrib/eclipse-plugin/目录下的hadoop-0.20.2-eclipse-plugin.jar，将此插件拷贝到eclipse/plugins目录内，关闭eclipse后重启。

 

第二步：

        在eclipse内，选择Windows->Open Perspective,选择那个有小象图标的Map/Reduce，

 

第三步：

         点击小象图标，右键选择新建一个hadoop location，开始配置参数：

其中Host:可以填写localhost或者说本地IP地址，Port为hadoop集群的jobtracker的端口号，另外在advance选项里去检查一下各个参数，只关心namenode或者说是jobtracker相关的配置项，我的集群使用的是8020和8021。保存配置，点击第一张图中左边树结构的小象，能够浏览hadoop集群上的目录文件信息，则配置成功，如下图

 

第四步：配置hadoop的本地目录Windows->preferences，选择本地目录，保存即可

 

 

第五步：开发一个新工程测试一下：

然后分别建Mapper类和Reducer类，但是有版本问题，我建出来的类使用的是mapred包，而不是新版本推荐使用的mapreduce包，可以完全自己写类，不用图上的Mapper向导和Reducer向导。

 

第六步：类开发完成后在hadoop上运行，选择Run as->Hadoop后没有反应，不知道怎么回事，不知道是插件为什么不工作了，

选择Run as->run configurations...

 

以Java application方式运行，在program arguments里填写Main函数里需要的参数，将VM heap space扩大一些，之后运行，O了。