eclipse plugin 终于有作用了

前几天一直无进展,今天也弄了半天,但是出现了转机,不再是那个“connection to myubuntu(这里是自己起的名字) org/apache/hadoop/configuration/configuration”的错误了,因为我当时直接双击下方那个view里的图标,结果报出的错误是An internal error occurred during: “Map/Reduce location status updater”.

java.lang.NoClassDefFoundError: org/codehaus/jackso/map/JsonMappingException

 

以此为关键词搜索出了解决办法:(最幸运的莫过于一篇中文文章了)

http://www.maplef.net/blog/archives/eclipse-hadoop-plugin.html

 

文章作者说明了这是20.203的问题,全换成20.2可以连接上HDFS了

但作者也提出了,"使用0.20.2版本后,仍然没有办法直接通过hadoop运行mapreduce程序,需要手动运行,"

 

为此,按照 这个文章 编写了一个makefile去运行程序,内容如下:

JarFile=”wordcount-0.1.jar”
MainFunc=”net.maplef.hadoop.wordcount.WordCountDriver”
LocalOutDir=”/tmp/output”

all:help
jar:
jar -cvf ${JarFile} -C bin/ .

input:
hadoop fs -rmr input
hadoop fs -put ${input} input

run:
hadoop jar ${JarFile} ${MainFunc} input output

clean:
hadoop fs -rmr output

output:
rm -rf ${LocalOutDir}
hadoop fs -get output ${LocalOutDir}
gedit ${LocalOutDir}/part-r-00000 &

help:
@echo “Usage:”
@echo ” make jar – Build Jar File.”
@echo ” make input input=yourinputpath – Set up Input Path”
@echo ” make clean – Clean up Output directory on HDFS.”
@echo ” make run – Run your MapReduce code on Hadoop.”
@echo ” make output – Download and show output file”
@echo ” make help – Show Makefile options.”
@echo ” ”
@echo “Example:”
@echo ” make jar; make input input=/home/username/hadoop-test/input/*; make run; make output; make clean”

 

最后,小小表扬一下自己,虽然世上很少有事一帆风顺,但是只有坚持才有可能找到路,比起以前那种兴奋劲三天就过,总算进步了。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值