环境:
集群安装在虚拟机的linux的Centos6.5上
在windows上的eclipse运行eclipse
过程记录
搭建eclipse的hadoop开发环境
- 下载hadoop对应版本的hadoop-eclipse-plugin-2.6.0.jar
- 将相应的插件包放在Eclipse的插件目录中:D:\eclipse\plugins
- 打开eclipse进入进入windows-preferences,应该就会出现Hadoop Map/Reduce菜单项,将Hadoop的安装目录D:\Hadoop\hadoop-2.6.0填入即可
其中的的Port与Host要与core-site中的属性保持一致。
5. 下载相应版本的cimutils.exe和hadoop.dll放在D:\Hadoop\hadoop-2.6.0\bin目录下,并且将hadoop.dll放在C:\windows\system32 的目录下。
问题记录:
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.如何解决?
解决方法:
在环境配置中使用绝对路径:PATH添加D:\Hadoop\hadoop-2.6.0\bin
- log4j:WARN No appenders could be foundfor logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4jsystem properly.
log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
解决方法:
将D:\Hadoop\hadoop-2.6.0\etc\hadoop\log4j.properties粘贴在项目的src文件中
- Exceptionin thread “main”java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/l
解决方法:
这是由于hadoop.dll 版本问题,需要选择正确的版本并且在 Hadoop/bin和 C:\windows\system32 上将其替换
- Exception in thread “main” java.net.ConnectException: Call From hyj-PC/10.10.99.202 to master:8020 failed on connection exception: java.net.ConnectException: Connection refused: no further information; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
解决方法: