网站基本都是hadoop2.2,基本找不到最新版的配置。原来配置过,但是由于换系统或七七八八的原因又得从新配置。花了大半天,最后还是成功了。希望能帮助到大家,直接真格...
Background:当然你得装好hadoop集群,我的是在HA下的hadoop2.7.1,6台机器
Windows 10 64-bit
先来个Myeclipse连接HDFS
1.将hadoop-eclipse-plugin-2.7.1.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。
如果不生效hadoop-eclipse-plugin-2.7.1.jar文件放到Eclipse的plugins里试试
2. 打开Window -> Preference -> Hadoop Map/Reduce,配置右面的"Hadoop installation directory"项,指向hadoop安装目录。注意:直接将hadoop安装包拷贝到当前系统的某个目录下,解压即可。
3. Window -> Open Perspective -> Other -> Map/Reduce
4.在窗口下面的Map/Reduce Location新建一个连接。location name随便填入,host填写hadoop集群的master所在的IP或者hostname(如果在hosts文件里做过映射的话)(是Namenode的IP地址或hostname,注意如果是多个NameNode,要写active的那个,不是standby的那个),第一个Port填写mapred-site.xml里定义的端口,我的是9000,第二个Port填写里core-site.xml定义的端口,我的还是9000。填写完重启eclipse。
PS:注意一定是要hadoop集群已经启动的状态。这个过程比较简单,按照网上其他大神post的博文也可以。
Myeclipse调试运行MapReduce程序
1.建立一个MapReduce项目WordCount
File-> New->Project->Map/Reduce Project
Next
Configure Hadoop install directory选本地解压的hadoop文件夹
2. 建WordCount.java
src下建一个org.apache.hadoop.examples包,把官方给的WordCount.java拷贝进去。把该用的jar拷贝进来,并且变成奶瓶。
a. 在HDFS上建立文件夹/user/input然后上传文件到HDFS
hadoop代码:
hadoop fs -mkdir /user
hadoop fs -mkdir /user/input
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/input/(当然第一个文件路径得按照你自己的改改)
3. 运行一下。
Run as->Run Configurations 然后按照下面的设置
###必须报错
把winutils.exe放到HADOOP_HOME所指定的文件夹里的bin里(什么,没有环境变量!自己配去!hadoop环境变量指向hadoop解压后的文件夹)
把hadoop.dll放到C:\Windows\System32里
###还有错
atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:609)
在src下建org.apache.hadoop.io.nativeio然后把NativeIO.java文件放进去
把return access0(path, desiredAccess.accessRight());注释掉改成 return true;
再按照上面的步骤执行一下,应该就没什么问题了!如果再有问题自行百歌!仔细检查配置,应该就没什么问题了。我把需要的文件或工具都打包好了,需要的可以下载...
Includes:
hadoop.dll
NativeIO.java
winutils.exe
WordCount.java
Windows 7 or 10 eclipse hadoop2.7.1 配置所需文件和工具.rar