windows下eclipse远程操作hadoop集群执行mapreduce

1.环境：虚拟机上hadoop分布式3台。hadoop-2.6.1.

2. 先把linux主节点上的hadoop拷贝到windows上。可以设置共享文件夹，或者打包发送到HDFS上，再从浏览器上下载

3.把hadoop解压到某个地方，winutils.exe放到hadoop/bin目录下，hadoop.dll放到windows32里。

4.配置环境变量：HADOOP_HOME和HADOOP_USER_NAME其中后者是linux上启动hadoop集群的用户名。

path里配置bin

5.再dos中输入hadoop

显示此窗口就算hadoop配置完成。

问题1：java_home.没找到：

修改这个文件：JAVA_HOME改成windows上的JAVA_HOME目录

问题2：winutils.exe没放到位置

6. 下载对应版本的hadoop-eclipse-plugin-2.6.0.jar。放到eclipse的plugins目录。启动eclipse。

在这个地方设置windows下配置的hadoop文件夹。

7.

点这个会出来配置页面：

name随便填：host是主节点的地址

mapreduce中port没有设置的话，默认50020

 

8. 配置好后在左边栏会出现HDFS中的数据，可以下载，删除，查看等。如果不能删除

9. 写一个wordcount程序。

输入 地址和输出地址，其余跟以前写的一样

直接运行即可run on hadoop。程序会调用虚拟机上的hadoop集群操作HDFS上的数据

所用工具：链接：https://删除文字pan.baidu.com/s/1geFWbQV 密码：k1en