1.环境:虚拟机上hadoop分布式3台。hadoop-2.6.1.
2. 先把linux主节点上的hadoop拷贝到windows上。可以设置共享文件夹,或者打包发送到HDFS上,再从浏览器上下载
3.把hadoop解压到某个地方,winutils.exe放到hadoop/bin目录下,hadoop.dll放到windows32里。
4.配置环境变量:HADOOP_HOME和HADOOP_USER_NAME其中后者是linux上启动hadoop集群的用户名。
path里配置bin
5.再dos中输入hadoop
显示此窗口就算hadoop配置完成。
问题1:java_home.没找到:
修改这个文件:JAVA_HOME改成windows上的JAVA_HOME目录
问题2:winutils.exe没放到位置
6. 下载对应版本的hadoop-eclipse-plugin-2.6.0.jar。放到eclipse的plugins目录。启动eclipse。
在这个地方设置windows下配置的hadoop文件夹。
7.
点这个会出来配置页面:
name随便填:host是主节点的地址
mapreduce中port没有设置的话,默认50020
8. 配置好后在左边栏会出现HDFS中的数据,可以下载,删除,查看等。如果不能删除
9. 写一个wordcount程序。
输入 地址和输出地址,其余跟以前写的一样
直接运行即可run on hadoop。程序会调用虚拟机上的hadoop集群操作HDFS上的数据
所用工具:链接:https://删除文字pan.baidu.com/s/1geFWbQV 密码:k1en