一. 背景介绍
Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 HDFS 上的文件、提交作业、调试 MapReduce 程序等。
笔者的 Hadoop 版本为 Hadoop-2.5.0-cdh5.3.2 ,众所周知,要想在 Eclipse 上开发 Hadoop 程序,那么就需要一个插件,这个插件要么自己编译,要么下载别人已经编译后的,无论哪种方式,都伴随着失败。
笔者在此先声明本教程只是记录了编译已经其中需要的事项,而笔者本人并未编译过。而是从其他地方下载后,直接成功使用。
笔者所用版本为 eclipse-jee-juno-SR2-linux-gtk-x86_64.tar
下载地址为:链接:http://pan.baidu.com/s/1qWVQbLi 密码:ea08
Version: Juno Service Release 2
Build id: 20130225-0426
二. cloudera CDH5 开发方式及 CDH eclipse 插件编译总结
2.1 hadoop 插件开发方式
1. 插件开发
对于插件开发,有些小麻烦。使用插件最好自己编译,因为 eclipse 插件能否连接成功,不止跟你的配置和集群有关系,还和你的 eclipse 版本有关系。这样造成很多新手链接不成功。
2. 无插件开发
无插件开发,对于新手则需要熟悉 Linux,因为你上传的文件,删除文件,没有使用插件方便。插件可以帮助你删除文件、上传文件后,不用通过 Linux 即可看到。插件开发的优点则是你只需要添加 hadoop 的相关包即可,不会因为插件问题在程序的运行过程中产生错误,导致找不到错误原因。
2.2 CDH 开发方式
同样也有两种,并且它们的开发有所区别,但也是大同小异。
1.插件开发
插件开发,有很多同学找不到 eclipse 插件源码,自己想编译无门,所以这里给大家介绍一个方法,该如何找到 eclipse 插件源码,那就是全局搜索。因为不同的版本,插件位置有所不同,这是个万能方法。
那么 CDH5 插件在什么位置:
可以看出在 {HADOOP_HOME}/src/hadoop-mapreduce1-project/src/contrib
进入该目录下,可以看到:
cd /usr/local/cluster/hadoop/src/hadoop-mapreduce1-project/src/contrib
2. 无插件开发
无插件开发也是通过加入一些 jar 包&#