在ubuntu下使用Eclipse搭建Hadoop开发环境

最新推荐文章于 2022-12-10 22:46:26 发布

小飞侠-2

最新推荐文章于 2022-12-10 22:46:26 发布

阅读量421

点赞数

分类专栏： hadoop相关

hadoop相关专栏收录该内容

6 篇文章 0 订阅

订阅专栏

一、安装准备
1、JDK版本：jdk1.7.0(jdk-7-linux-i586.tar.gz)
2、hadoop版本：hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本：Eclipse Java EE IDE for Web Developers.
Version: Juno Service Release 1
Build id: 20120920-0800(eclipse-jee-juno-SR1-linux-gtk.tar.gz)
4、eclipse与hadoop集成插件：hadoop-eclipse-plugin-1.1.1.jar
5、操作系统：ubuntu10.10

注：jdk、hadoop、eclipse、hadoop-eclipse-plugin存在兼容问题，建议大家按上面的版本进行实践(本人在搭建该环境时吃了不少亏~~)。

二、安装操作
1、安装JDK，此步省略…(不懂的点击这里 )。
2、安装hadoop，此步省略…(不懂的点击这里 )。
3、安装eclipse，操作步骤如下：
1)、把安装文件拷贝到home目录下
cp eclipse-jee-juno-SR1-linux-gtk.tar.gz /home
2)、安装eclipse(即解压就可使用)
tar -zxvf eclipse-jee-juno-SR1-linux-gtk.tar.gz
4)、启动eclipse，并创建workspace作为eclipse的工作空间
cd /home/eclipse #切换到eclipse目录下
./eclipse

三、配置Eclipse、Hadoop开发环境
第一步：安装Eclipse-Hadoophadoop集成插件
把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse/plugins中，然后重新启动Eclipse如下图。

细心的你从上图左侧“Project Explorer”下面发现“DFS Locations”，说明Eclipse已经识别刚才放入的Hadoop Eclipse插件了。

第二步：在Eclipse中指定Hadoop的安装目录
选择“Window”菜单下的“Preference”，然后弹出一个窗体，在窗体的左侧中找到“Hadoop Map/Reduce”选项，点击此选项，选择Hadoop的安装目录(如我的Hadoop目录：/home/hadoop/hadoop-1.1.1)。结果如下图：

第三步：切换“Map/Reduce”工作目录
有两种方法：
1)、选择“Window”菜单下选择“Open Perspective–>Other”，弹出一个窗体，从中选择“Map/Reduce”选项即可进行切换。

2)、在Eclipse软件的右上角，点击图标“”中的“”，从中选择“Map/Reduce”，然后点击“OK”即可确定。

切换到“Map/Reduce”工作目录下的界面如下图所示。

第四步：配置DFS Locations
建立与Hadoop集群的连接，在Eclipse软件下面的“Map/Reduce Locations”进行右击，弹出一个选项，选择“New Hadoop Location ”，然后弹出一个窗体。

注意上图中的红色标注的地方，是需要我们关注的地方。
Location Name：可以任意填，标识一个“Map/Reduce Location”
Map/Reduce Master
Host：xx.xx.xx.xx(Master.Hadoop的IP地址，即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中ip)
Port：xx(即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中端口)
DFS Master
Use M/R Master host：前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。)
Host：xx.xx.xx.xx(/home/hadoop/hadoop-1.1.1/conf/core-site.xml中ip)
Port：xxxx (/home/hadoop/hadoop-1.1.1/conf/core-site.xml中端口)
User name：hadoop(操作hadoop的用户)