Eclipse下配置使用Hadoop插件

Eclipse下配置使用Hadoop插件

一、环境配置 1、Eclipse 版本 3.3.X 2、Hadoop版本 0.20.2 二、配置流程 1、将/hadoop-0.20.2/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32/eclipse/plugins/下。 2、启动eclipse，点击Window->Show View->Other，点击MapReudce Tools->Map/Reduce Locations，如图（我已创建一个）： 下载 (24.06 KB) 2010-10-21 13:08 3、点击蓝色的大象，出现下图，配置： Host是Master的IP地址、9001是mapred.job.tracker端口、9000是fs.default.name的端口 下载 (36.03 KB) 2010-10-21 13:09 4、到这里配置完成了。值得说明的是，JDK需要采用1.6，否则会报如下错误信息。 Unsupported major.minor version 50.0 Unsupported major.minor version 49.0 Unsupported major.minor version 48.0 二、如何使用 1、查看文件系统。点击eclipse右上角的蓝色大象图标，然后在左边Project Explorer会出现DFS Locations的链接，打开就能看到HDFS的文档结构。 2、运行Job，运行的时候采用Run on hadoop。这里需要注意3点， A、记得配置输入输出参数。 B、记得在main函数中添加conf.set("hadoop.job.ugi", "root,hadoop"); root是用户名，hadoop是密码。 C、工程需要加载hadoop下lib里的所有包以及hadoop目录下的包，当然不是全部都需要，我觉得麻烦，所以全部加上了。 下载 (11.55 KB) 2010-10-21 13:10 四、总结 1、插件用起来还是比较方便的，建议开发调试的时候使用。 2、通过插件对HDFS进行文件目录的增删操作就我这个配置还不行，网上有文档说可以配置，但是我没实现。 3、运行Job的时候确实需要注意输入和输出以及一些jar包的加载。 4、执行的时候会出一些警告，不影响，说是系统中存在一些老的配置文件而已。