远程windows用eclipse运行wordcount程序

环境:

集群安装在虚拟机的linux的Centos6.5上
在windows上的eclipse运行eclipse

过程记录

搭建eclipse的hadoop开发环境

  1. 下载hadoop对应版本的hadoop-eclipse-plugin-2.6.0.jar
  2. 将相应的插件包放在Eclipse的插件目录中:D:\eclipse\plugins
  3. 打开eclipse进入进入windows-preferences,应该就会出现Hadoop Map/Reduce菜单项,将Hadoop的安装目录D:\Hadoop\hadoop-2.6.0填入即可

这里写图片描述

其中的的Port与Host要与core-site中的属性保持一致。
5. 下载相应版本的cimutils.exe和hadoop.dll放在D:\Hadoop\hadoop-2.6.0\bin目录下,并且将hadoop.dll放在C:\windows\system32 的目录下。

问题记录:

  1. java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.如何解决?

解决方法:
在环境配置中使用绝对路径:PATH添加D:\Hadoop\hadoop-2.6.0\bin


  1. log4j:WARN No appenders could be foundfor logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
    log4j:WARN Please initialize the log4jsystem properly.
    log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解决方法:
将D:\Hadoop\hadoop-2.6.0\etc\hadoop\log4j.properties粘贴在项目的src文件中


  1. Exceptionin thread “main”java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/l

解决方法:

这是由于hadoop.dll 版本问题,需要选择正确的版本并且在 Hadoop/bin和 C:\windows\system32 上将其替换

  1. Exception in thread “main” java.net.ConnectException: Call From hyj-PC/10.10.99.202 to master:8020 failed on connection exception: java.net.ConnectException: Connection refused: no further information; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

解决方法:

配置集群的端口号为8020即可,其他的暂时没有找到好的解决办法。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NobiGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值