eclipse搭建hadoop开发环境

一、安装准备

1、JDK版本：jdk1.7.0
2、hadoop版本：hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本：Eclipse Java EE IDE for Web Developers.
  Version: Juno Service Release 1
4、eclipse与hadoop集成插件：hadoop-eclipse-plugin-1.1.1.jar
5、操作系统：ubuntu Server 12.04

一、在windows上通过WEB查看hadoop相关信息

1.修改C:\WINDOWS\system32\drivers\etc\hosts文件，加入主机名与IP对应关系：

2.访问：http://hadoop-master:50030　可以查看JobTracker的运行状态：

访问：http://hadoop-master:50070　可以查看NameNode及整个分布式文件系统的状态等：

3. 安装开发 hadoop 插件

将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-1.1.1-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。

需要注意的是插件版本（及后面开发导入的所有jar包）与运行的hadoop一致，否则可能会出现EOFException异常。

 

重启eclipse，打开windows->open perspective->other->map/reduce可以看到map/reduce开发视图。

4 .设置连接参数

打开windows->show view->other-> map/reduceLocations视图，在点击大象后弹出的对话框（General tab）进行参数的添加：

参数说明如下：

 Locationname:任意

  map/reduce master：与mapred-site.xml里面mapred.job.tracker设置一致。

DFSmaster：与core-site.xml里fs.default.name设置一致。

Username: 服务器上运行hadoop服务的用户名。

 

然后是打开“Advanced parameters”设置面板，修改相应参数。上面的参数填写以后，也会反映到这里相应的参数：

主要关注下面几个参数：

fs.defualt.name：与core-site.xml里fs.default.name设置一致。

mapred.job.tracker：与mapred-site.xml里面mapred.job.tracker设置一致。

dfs.replication：与hdfs-site.xml里面的dfs.replication一致。

hadoop.tmp.dir：与core-site.xml里hadoop.tmp.dir设置一致。

hadoop.job.ugi：并不是设置用户名与密码。是用户与组名，所以这里填写hadoop,hadoop。

说明：第一次设置的时候可能是没有hadoop.job.ugi和dfs.replication参数的，不要紧，确认保存。打开Project Explorer中DFSLocations目录，应该可以年看到文件系统中的结构了。但是在/hadoop/mapred/system下却没有查看权限，如下图：