Hadoop 2.6 远程开发环境搭建

1. 版本介绍

l Hadoop集群环境：

Ubuntu 12.04

Hadoop-2.7.0.tar.gz

Jdk1.7.0_45

l 开发环境：

Window7 专业版

Eclipse-jee-luna-SR1-win32

2. 搭建步骤

以下步骤都是基于Hadoop集群环境搭建成功之后。

1) Eclipse

l 将hadoop-eclipse-plugin-2.6.0放入eclipse目录下plugin中；

l 将Hadoop-2.7.0.tar.gz解压放在Windows环境中，并给hadoop环境设置环境变量；下图的变量值可任意设置；

之后把hadoop2.6_winutils_x64中的hadoop.dll放入C:/Windows/System32中；

winutils.exe放入HADOOP_HOME变量名的bin目录下；

打开eclipse，若插件放置正确，在工程栏会显示：

l 选择Window->Open Perspective->Map/Reduce

l 点击New Hadoop Location，进行如下设置

其中，Map/Reduce Master 中 Host和Port的设置必须和Hadoop集群中的安装文件/etc/hadoop/mapred-site.xml中mapreduce.jobtracker.addresss设置的IP和端口号一致，而DFS Master中的Port必须和/etc/hadoop/core-site.xml中的端口值一致。设置后点击Finish，若成功，会显示HDFS中已存在的文件。

l 

可用“HDFSProject 环境搭建测试”中的HdfsHandle.java文件远程对HDFS的CRUD操作。WordCount.java文件可基于Map/Reduce实现对文件内单词的统计。

附件链接：