Windows下安装hadoop并集成到myeclipse开发环境

具体细节请参看刘胜球的博客:

在Windows系统中安装Hadoop链接为http://my.oschina.net/u/570654/blog/112757

myeclipse配置Hadoop开发环境链接为http://my.oschina.net/u/570654/blog/112780

下面开始讲解本人在安装过程中出现的问题以及解决方法:

1、编辑conf/hadoop-env.sh文件,将JAVA_HOME变量设置为java的安装目录。

在这个过程中我的目录中存在Program Files,我将其缩写成Progra~1,但是还是现实bin/java:no file or direction。

我查看了我的配置和环境变量发现真的是没有问题,但是就是不行,最后我把jdk卸了重新换了一个没有空格的目录进行安装,但是最终的结果依然是不行。

然后我偶然中发现可能是dos文档需要转换成为unix文档的问题,所以我想使用dos2unix conf/hadoop-env.sh命令来转化一下。

但是发现直接出现了找不到这个dos2unix这个命令,没办法换到linux环境下,先使用sudo apt-get install dos2unix安装了dos2unix,

然后使用dos2unix conf/hadoop-env.sh命令就可以转换了,转换之后在copy到Windows环境下。

这个时候发现出现了新的问题,但是说明bin/java:no file or direction这个问题是解决了,其实就是需要转换成为unix文档,Windows才认的。

2、接上个问题,新出现的问题是java.lang.UnsupportedClassVersionError: Bad version number in .class file。

这个问题是jdk版本的问题,然后我使用java -version和javac -version命令发现版本都是1.5.2,可能是版本太低,

然后我就卸载了重新装了个1.7.2版本的jdk,之后再使用java -version和javac -version命令发现确实改过来了,

然后试一下发现bin/hadoop namenode -format可以了。至此这个大问题解决。

3、bin/hadoop fs -put input in命令上传文件到hdfs上去时,发现出现问题,具体问题记不清了。最后发现是因为我的datanode没有开启,

去日志文件里面查看了一下,原来datanode和namenode的ID不同,我将datanode的ID换成了namenode的ID之后,重新启动hadoop进程,

这个时候就可以了,成功开启datanode进程,然后上传文件到hdfs上面就可以了,问题解决。

4、最后在运行实例的时候,出现这个图片让我们去配置Program arguments时,如果发现不知道路径时,可以在终端上通过命令

bin/hadoop fs -ls in来查看具体的路径,其中in是你的输入文件夹。


5、如果发现自己进行了配置了而且也是对的,但是好像就是没发生作用,这个时候我们可以关掉终端,或者myeclipse重新打开,

可能是因为重新打开才能生效。

这个就是我Windows上安装hadoop并集成到myeclipse上去中出现的一些问题,希望能够帮助到大家。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值