(csdn内转载)Eclipse下配置使用Hadoop插件

前提,请先配置好Hadoop集群,并启动Hadoop守护进程。

集群搭建参见:http://blog.csdn.net/matraxa/article/details/7179366


我使用的软件版本如下:

Ubuntu: Ubuntu10.04

JDK: jdk1.6.0_25

Eclipse: Eclipse3.71

Hadoop: Hadoop-0.20.203.0


一、在Eclipse下配置Hadoop插件

1.复制 hadoop安装目录hadoop-0.20.203.0/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.203.0.jar到eclipse安装目录下的plugins目录中。

2.重启eclipse,配置hadoop installation directory。

如果安装插件成功,打开Window-->Preferens,你会发现Hadoop Map/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。

3.配置Map/Reduce Locations。 

在Window-->Show View->other...,在MapReduce Tools中选择Map/Reduce Locations。

 


在Map/Reduce Locations(Eclipse界面的正下方)中新建一个Hadoop Location。在这个View中,点击鼠标右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,可任意填,如Hadoop,以及Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。我的这两个文件中配置如下: 

mapred-site.xml

  1. <property>  
  2. <name>mapred.job.tracker</name>  
  3. <value>matraxa:9001</value>  
  4. </property>  

core-site.xml:

  1. <property>  
  2. <name>fs.default.name</name>  
  3. <value>hdfs://matraxa:9000</value>  
  4. </property>  


最后的配置截图如下:


设置完成后,点击Finish就应用了该设置。然后,在最左边的Project Explorer中就能看到DFS的目录,如下图所示:



错误及解决方法

但是在我实践尝试中,发现hadoop-0.20.203.0版本的该包如果直接复制到eclipse的插件目录中,在连接DFS时会出现错误,提示信息为: "error: failure to login",弹出的错误提示框内容为"An internal error occurred during: "Connecting to DFS hadoop". org/apache/commons/configuration/Configuration". 经过察看Eclipse的log,发现是缺少jar包导致的。进一步查找资料后,发现直接复制hadoop-eclipse-plugin-0.20.203.0.jar,该包中lib目录下缺少了jar包。

经过网上资料搜集,此处给出正确的安装方法:

首先要对hadoop-eclipse-plugin-0.20.203.0.jar进行修改。用归档管理器打开该包,发现只有commons-cli-1.2.jar 和hadoop-core.jar两个包。将HADOOP_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下,如下图:



然后,修改该包META-INF目录下的MANIFEST.MF,将classpath修改为一下内容:

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

如下图:

这样就完成了对hadoop-eclipse-plugin-0.20.203.0.jar的修改。

最后,将hadoop-eclipse-plugin-0.20.203.0.jar复制到Eclipse的plugins目录下,重启Eclipse即可。


二、在Eclipse中建立项目测试Hadoop插件是否成功配置

1、新建项目。 
File-->New-->Other-->Map/Reduce Project 
项目名可以随便取,如hadoopTest。 
复制 hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.java到刚才新建的项目下面。 


2、上传模拟数据文件夹。 
为了运行程序,需要一个输入的文件夹和输出的文件夹。输出文件夹,在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。 

(1)、在当前目录(如hadoop安装目录)下新建文件夹input,并在文件夹下新建两个文件file01、file02,这两个文件内容分别如下: 

file01

      Hello World Bye World  


file02

      Hello Hadoop Goodbye Hadoop  

(2)、.将文件夹input上传到分布式文件系统中。 
在已经启动Hadoop守护进程终端中cd 到hadoop安装目录,运行下面命令: 

         
       bin/hadoop fs -put input input  


这个命令将input文件夹上传到了hadoop文件系统了,在该系统下就多了一个input01文件夹,你可以使用下面命令查看: 
    
  bin/hadoop fs -ls    


3、运行项目。 


(1)、在新建的项目hadoop-test,点击WordCount.java,右键-->Run As-->Run Configurations 
(2)、在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount 

(3)、配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,如: 

      
       hdfs://matraxa:9000/user/matraxa/input hdfs://matraxa:9000/user/matraxa/output  


这里面的input就是你刚传上去文件夹。文件夹地址你可以根据自己具体情况填写。如下图:



注意:虚拟机的启动参数"VM arguments"还是要填,不然会报堆不够的错误!具体见上图的填法


(4)、点击Run,运行程序。 

点击Run,运行程序,过段时间将运行完成,等运行结束后,可以在终端中用命令如下,查看是否生成文件夹output: 

bin/hadoop fs -ls  

用下面命令查看生成的文件内容: 

bin/hadoop fs -cat output01/* 


如果显示如下,说明已经成功在eclipse下运行第一个MapReduce程序了。 

        Bye 1  
        Goodbye 1 
        Hadoop  2 
        Hello   2  
        World   2   


参考文章:

http://phz50.iteye.com/blog/932373

http://hi.baidu.com/wangyucao1989/blog/item/279cef87c4b37c34c75cc315.html



该博文转载自http://blog.csdn.net/matraxa/article/details/7182382

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值