2:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

大数据Hadoop2.2.0-eclipse插件(二)

下载hadoop-common-2.2.0-bin-master.zip

下载地址为:https://github.com/srccodes/hadoop-common-2.2.0-bin

也可以在国内进行下载

将下载里面的

将bin目录里面的hadoop.dll和winutils.ext这两个文件放到

Hadoop的安装目录,也就是解压目录下面的bin里面。防止发生一些因为这2个文件没有而导致的错误。

修改主服务器上面的配置文件mapred-site.xml

添加上面那个是为了权限问题,不然会出现

(25 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator)

hadoop eclipse插件不是必须的,其作用如下三点

对hadoop中的文件可视化。

创建MapReduce Project时帮你引入依赖的jar。

Configuration conf = new Configuration();时就已经包含了所有的配置信息。

虽然是搭建好了这个环境,但是只能在本地运行mapreduce,如果想要在集群运行的话,需要麻烦些,涉及重新编译hadoop以及修改配置文件。

在eclipse的hadoop2.2.0搭建的过程中

已经下载导入好了这个插件,hdfs上面的目录结构也显示了,但是运行mapreduce程序始终有个空指针异常

并且没有任何的提示,看到错误信息里面提到有个log4j的警告,需要导入log4j的配置文件

我win上面的hadoop2.2.0的目录,也就是hadoop2.2.0解压后的文件目录

将上面红框的文件,放到我自己创建的测试项目的bin目录下

这样就好分析错误的信息了,如果有时候发现没有信息输出,看看是不是没有把log4j的配置文件加载到目录当中

2:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

说是 HADOOP_HOME的问题。如果HADOOP_HOME为空,必然fullExeName为null\bin\winutils.exe。解决方法比较简单,就是配置hadoop home的环境变量吧,不想重启电脑可以在MapReduce程序里加上 System.setProperty("hadoop.home.dir", "...")

这里配置hadoop-home并重启电脑

(点击新建,输入hadoop的安装目录)

(并将hadoop安装目录下的bin目录添加到Path当中)

3:如果有Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.

这个是没有winutils.exe这个东西。去https://github.com/srccodes/hadoop-common-2.2.0-bin下载一个,放就去就可以了,关注我的订阅号。返回搜狐,查看更多

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值