解决hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)Lorg/ap

目录

 

问题描述

解决思路

---

问题描述

今天我在idea中运行自定义outputformate类的时候遇到的问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z，

之前的wordcountdemo是自己打成jar包放到hadoop集群中运行，没有任何问题，就是很麻烦

所以尝试使用window本地去调试结果，结果就报了错误。我用的是window10系统，hadoop-3.1.3

 

解决思路

1.检查win10中hadoop的环境变量，HADOOP_HOME是否配置正确，

在cmd中输入

hadoop verson

若无报错信息，就算是HADOOP_HOME没有配置错。

其中这里还会有一个坑，就是在配置hadoop环境时会报这样的一个错误（你在cmd 运行hadoop version 时也有有这样的提示信息）

Error: JAVA_HOME is incorrectly set.Please update D:\hadoop-3.1.3\etc\hadoop\hadoop-env.cmd

这是因为JAVA_HOME的路径有空格，所以才会导致这样的错误，需要你去你修改D:\hadoop-3.1.3\etc\hadoop\hadoop-env.cmd文件中的java_home变量

你需要把原来jdk转移到一个没有空格命名的文件夹下，重新配置JAVA_HOME，或是重新复制一份jdk，然后再hadoop-env.cmd中修改java_home路径

具体可以参考这里https://blog.csdn.net/cjl13694270972/article/details/114375299

 

2.检查hadoop版本，查看pom文件中 hadoop的版本号和windows的hadoop是否一致。

 

3.D:\hadoop-3.1.3/bin/winutils.exe 和hadoop.dll是不是和你正在使用的hadoop版本匹配

我的问题就是这个原因，我直接把官网上面下载回来的hadoop-3.1.3.tar.gz直接解压，然后随便去网上下载了winutils.exe和hadoop.dll丢进去bin目录后，一运行就报错了

datanode的错误，原因是hadoop.dll文件的问题，由于是本地windows安装启动的hadoop，故需要hadoop.dll文件，但版本对应不上，hadoop是3.1.3的，但是hadoop.dll文件版本对不上，换了hadoop.dll文件就好了。

我是直接把bin目录覆盖过去的

然后提供一下下载地址

下载地址

https://github.com/steveloughran/winutils

https://github.com/selfgrowth/apache-hadoop-3.1.1-winutils

2.6.5 - 3.2.1 版本的winutils 下载路径 https://gitee.com/shockingblue/winutils