下载hadoop-common-2.2.0-bin-master.zip
下载地址为:https://github.com/srccodes/hadoop-common-2.2.0-bin
也可以在国内进行下载
将下载里面的
将bin目录里面的hadoop.dll和winutils.ext这两个文件放到
Hadoop的安装目录,也就是解压目录下面的bin里面。防止发生一些因为这2个文件没有而导致的错误。
修改主服务器上面的配置文件mapred-site.xml
添加上面那个是为了权限问题,不然会出现
(25 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator)
hadoop eclipse插件不是必须的,其作用如下三点
对hadoop中的文件可视化。
创建MapReduce Project时帮你引入依赖的jar。
Configuration conf = new Configuration();时就已经包含了所有的配置信息。
虽然是搭建好了这个环境,但是只能在本地运行mapreduce,如果想要在集群运行的话,需要麻烦些,涉及重新编译hadoop以及修改配置文件。
在eclipse的hadoop2.2.0搭建的过程中
已经下载导入好了这个插件,hdfs上面的目录结构也显示了,但是运行mapreduce程序始终有个空指针异常
并且没有任何的提示,看到错误信息里面提到有个log4j的警告,需要导入log4j的配置文件
我win上面的hadoop2.2.0的目录,也就是hadoop2.2.0解压后的文件目录
将上面红框的文件,放到我自己创建的测试项目的bin目录下
这样就好分析错误的信息了,如果有时候发现没有信息输出,看看是不是没有把log4j的配置文件加载到目录当中
2:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
说是 HADOOP_HOME的问题。如果HADOOP_HOME为空,必然fullExeName为null\bin\winutils.exe。解决方法比较简单,就是配置hadoop home的环境变量吧,不想重启电脑可以在MapReduce程序里加上 System.setProperty("hadoop.home.dir", "...")
这里配置hadoop-home并重启电脑
(点击新建,输入hadoop的安装目录)
(并将hadoop安装目录下的bin目录添加到Path当中)
3:如果有Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.
这个是没有winutils.exe这个东西。去https://github.com/srccodes/hadoop-common-2.2.0-bin下载一个,放就去就可以了,关注我的订阅号。返回搜狐,查看更多