hadoop集群（hadoop-1.1.2）eclipse开发环境搭建

hadoop环境说明

虚拟机版本：VMWare 9.0

操作系统版本：CentOS 6.4

hadoop集群版本：hadoop 1.1.2

开发环境搭建

1.安装eclipse

eclipse版本：

eclipse-standard-kepler-SR1-win32.zip （32位）

eclipse-standard-kepler-SR1-win32-x86_64.zip （64位）

直接解压到安装路径（C:\Program Files\Java）即可。

2.安装hadoop插件

2.1.把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。

hadoop安装后，安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用ant编译。

源文件在：hadoop-x.y.z/src/contrib/eclipse-plugin下，注意：需要下载源目录的包，如查下载的是bin的压缩包，里面是没有eclipse插件的源文件的。

2.2.打开Eclipse

在window-- Preferences出现Hadoop Map/Reduce；

配置Hadoop installation directory；

注意：

宿主机windows上并没有安装hadoop， hadoop安装在VM中的centos中，在windows下建了一个目录C:\Java\hadoop，把centos hadoop安装根目录下的jar包拷过来。

3.新建工程Map/Reduce Project

3.1.新建Map/Reduce Project

3.2.配置hadoop location

关键参数：

Map/Reduce Master

Host -- mapred-site.xml的mapred.job.tracker对应的ip

Port -- mapred-site.xml的mapred.job.tracker对应的port

DFS Master

Host -- core-site.xml的fs.default.name对应的ip

Port -- core-site.xml的fs.default.name对应的port

3.3.刷新DFS Locations 列出HDFS服务器上的上的目录

4.问题

在Eclipse上可以列出hadoop集群上的目录，但不能创建文件，上传文件。

 

原因：

windows下Eclipse安装了hadoop插件，默认使用的是windows当前用户去操作hadoop，而我的hadoop集群当前的用户是grid。

而Eclipse中hadoop locations 的高级参数配置，是不能修改这个用户的。

解决方法：

在windows用户和组的管理中，把当前用户修改成hadoop组grid用户。

但我的机器系统是win7家庭版，打不开用户和组管理：

另一种方案：

windows上新建一个hadoop用户，然后再打开Eclipse，创建工程，进行以上的配置DFS Loactioins。

发现这时，在Eclipse中可以列出目录，新建文件夹，上传文件了。