编号001(这一行为我自己为了方便起的标识,你们可以忽略……)
最近编写了一个mapreduce程序,在eclipse中执行发现出现这个问题,百度各种方案都不行,花了好久才解决,现在把最近看过和亲测过的方案整理如下,希望能让别人早日出坑。
前提条件:
- Hadoop集群(hadoop2.7.3)
- Java编译环境(jdk1.8)
- 操作系统:win7
- IDE:eclipse
- hadoop插件
下载附件
链接:https://pan.baidu.com/s/11hGqS-8d5fPCaS6-LcgM8g
提取码:14wv
这个问题主要是hadoop.dll版本问题
-
首先将附件中的hadoop2.7.3解压到本地一个目录下(例如:D:\hadoop\hadoop-2.7.3,注:目录不要有空格!!!,如果有空格之后修改配置文件自己去百度如何转义,jdk和hadoop目录最好都不要有空格)
-
配置环境变量
一、新建一个环境变量
HADOOP_HOME=D:\hadoop\hadoop-2.7.3
二、在Path环境变量后面追加:%HADOOP_HOME%\bin -
到eclipse中为hadoop插件定位安装目录
-
配置hadoop连接参数
5.然后连接成功我们就可以在DFSLocation看到自己hdfs中的文件列表了
- 将附件中bin中的hadoop.dll和winutils.exe拷贝到hadoop2.7.3下的bin目录下(应该只拷贝这两个文件即可,不过我在网上下载发现有好几个其他文件就都拷过去了,也没什么问题,你们可以试试只拷贝这两个文件能不能解决问题,可以告诉我一下)
- 将hadoop.dll文件放在C:\Windows\System32目录下
- 再运行程序即可执行成功!
补充: 有的人说是这种通法解决不了问题,可以试试在代码中强制加载hadoop.dll文件试试
static {
try {
System.load("D:/Hadoop/hadoop-2.7.3/bin/hadoop.dll");
} catch (UnsatisfiedLinkError e) {
System.err.println("Native code library failed to load.\n" + e);
System.exit(1);
}
}
参考:https://blog.csdn.net/wyxeainn/article/details/81413544