首先需要强调的是,Hadoop集群还是只能在linux系统中进行部署,我用的CentOS6.4版本的系统,安装的是Hadoop2.6.0.
环境:
win7 64位 通过命令winver查看系统版本
hadoop-2.6.0 通过Hadoop -v 来查看
Eclipse Version: Mars.1 Release (4.5.1) Build id: 20150924-1200
步骤:
1、下载hadoop-eclipse-plugin-2.6.0.jar包
2、把hadoop-eclipse-plugin-2.6.0.jar放到eclipse安装目录下的plugins目录下
3、打开eclipse发现左边多出来一个DFS Locations
4、在win7上解压hadoop-2.6.0。 binary包不是source包
5、下载hadoop.dll、winutils.exe等文件。
根据你的hadoop版本下载相应的文件,我们用的是2.6所以要求支持hadoop2.6的(低版本的hadoop.dll会报错),然后拷贝下载文件到hadoop的bin目录,如果有已存在的文件直接跳过就行,不用覆盖原来的bin目录下的文件
说明:这一步非常重要,不然你运行项目时会报各种异常
6、配置HADOOP_HOME用户变量,并在PATH中添加%HAOOP_HOME\bin。如果用eclipse也可以直接在environment里面配置,如下图所示:
7、另外注意还要把hadoop.dll放在win7系统中system32文件夹下面。
PS:将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下。
8、设置Window->Prefrences->Hadoop Map/Reduce的installationdirectory为你解压的hadoop目录。
9、新建一个Map/Reduce,配置Run Configuration,连接到namenode所在节点,测试WordCount……