楼主最近在初学hadoop,遇到了很多问题,几乎用了几天去解决bug,终于在今天解决完毕
总得来说 归结有两个问题
第一是使用 hadoop-eclipse-plugin-2.6.4 来连接hadoop 的 hdfs文件系统
第二是在eclipse运行MapReduce 程序,(不是打成jar 再传到服务器上交给hadoop运行)
具体步骤,各位看客可看网上的其他文章,写得都非常优秀,在此博主只跟各位分享自己遇到的问题,与解决方法
1.楼主一开始尝试去连接 hdfs文件系统,一直提示连接异常,楼主百思不得其解
终于在某一天看到一篇文章说要修改hadoop-2.6.4.jar的bin目录(其他版本也一样),
解决方法:其实就是要添加winutils 与 hadoop.dll 两个文件,在修改windows上的hadoop-2.6.4的bin目录后,楼主成功连接到了 hdfs文件系统
2.紧接着楼主在eclipse上尝试去跑MapReduce程序,可一直报 in thread "main" java.lang.ExceptionInInitializerError
大家都知道这是一个很泛的异常,博主也百分之百确定代码不会出错。
解决方法:博主jdk有问题,楼主一直使用jdk10,之后换成了jdk1.8后成功运行。
好了,今天分享到此为止,喜欢这篇文章就关注我吧!!