浅入Hadoop开发,eclipse连接hadoop,并运行MapReduce程序

楼主最近在初学hadoop,遇到了很多问题,几乎用了几天去解决bug,终于在今天解决完毕

总得来说 归结有两个问题

第一是使用 hadoop-eclipse-plugin-2.6.4 来连接hadoop 的 hdfs文件系统

第二是在eclipse运行MapReduce 程序,(不是打成jar 再传到服务器上交给hadoop运行)

具体步骤,各位看客可看网上的其他文章,写得都非常优秀,在此博主只跟各位分享自己遇到的问题,与解决方法

1.楼主一开始尝试去连接 hdfs文件系统,一直提示连接异常,楼主百思不得其解

终于在某一天看到一篇文章说要修改hadoop-2.6.4.jar的bin目录(其他版本也一样),

解决方法:其实就是要添加winutils 与 hadoop.dll 两个文件,在修改windows上的hadoop-2.6.4的bin目录后,楼主成功连接到了 hdfs文件系统

2.紧接着楼主在eclipse上尝试去跑MapReduce程序,可一直报 in thread "main" java.lang.ExceptionInInitializerError 

大家都知道这是一个很泛的异常,博主也百分之百确定代码不会出错。

解决方法:博主jdk有问题,楼主一直使用jdk10,之后换成了jdk1.8后成功运行。

好了,今天分享到此为止,喜欢这篇文章就关注我吧!!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值