这几天在学Hadoop,在此过程中遇到一些问题,将解决的过程记录下来,帮助其他遇到类似问题的朋友。
一、首先按照网上的教程下载了hadoop的eclipse插件,放到eclipse的plugins目录后重启eclipse,在windows->preferences中并没有出现hadoop Map/Reduce选项。原因有以下几个:
(1)下载的jar包有问题
我刚开始在网上下载了一个hadoop-eclipse-plugin-2.7.3.jar,但是没有出现hadoop Map/Reduce选项。打开Error Log,发现jar包里面文件报错。重新下载一个jar包就行了。
(2)插件编译的jdk版本不对
在上一步中重新下了一个jdk1.8编译的hadoop-eclipse-plugin-2.7.3.jar后,出现hadoop Map/Reduce选项,但是打开的时候发现页面上报错,没有出现路径选择界面。
然后下载了一个jdk1.7编译的版本,就没问题了。
hadoop-eclipse-plugin-2.7.3.jar下载地址:http://download.csdn.net/detail/yufeiyanliu/9718603
亲测jdk1.7可用。
二、windows下配置eclipse远程连接到ubuntu虚拟机中的hadoop,locations 处报错:
Cannot connect to the Map/Reduce location: mylocal
Call to 172.18.3.198/172.18.3.198:9001 failed on connection exception: java.net.ConnectException: Connection refused: no further information。
解决办法:把core-site.xml、mapred-site.xml、hdfs-site.xml中配置的localhost都改成ubuntu的IP:192.168.*.*,然后Reconnect就OK了。