目录
问题描述
今天我在idea中运行自定义outputformate类的时候遇到的问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z,
之前的wordcountdemo是自己打成jar包放到hadoop集群中运行,没有任何问题,就是很麻烦
所以尝试使用window本地去调试结果,结果就报了错误。我用的是window10系统,hadoop-3.1.3
解决思路
1.检查win10中hadoop的环境变量,HADOOP_HOME是否配置正确,
在cmd中输入
hadoop verson
若无报错信息,就算是HADOOP_HOME没有配置错。
其中这里还会有一个坑,就是在配置hadoop环境时会报这样的一个错误(你在cmd 运行hadoop version 时也有有这样的提示信息)
Error: JAVA_HOME is incorrectly set.Please update D:\hadoop-3.1.3\etc\hadoop\hadoop-env.cmd
这是因为JAVA_HOME的路径有空格,所以才会导致这样的错误,需要你去你修改D:\hadoop-3.1.3\etc\hadoop\hadoop-env.cmd文件中的java_home变量
你需要把原来jdk转移到一个没有空格命名的文件夹下,重新配置JAVA_HOME,或是重新复制一份jdk,然后再hadoop-env.cmd中修改java_home路径
具体可以参考这里https://blog.csdn.net/cjl13694270972/article/details/114375299
2.检查hadoop版本,查看pom文件中 hadoop的版本号和windows的hadoop是否一致。
3.D:\hadoop-3.1.3/bin/winutils.exe 和hadoop.dll是不是和你正在使用的hadoop版本匹配
我的问题就是这个原因,我直接把官网上面下载回来的hadoop-3.1.3.tar.gz直接解压,然后随便去网上下载了winutils.exe和hadoop.dll丢进去bin目录后,一运行就报错了
datanode的错误,原因是hadoop.dll文件的问题,由于是本地windows安装启动的hadoop,故需要hadoop.dll文件,但版本对应不上,hadoop是3.1.3的,但是hadoop.dll文件版本对不上,换了hadoop.dll文件就好了。
我是直接把bin目录覆盖过去的
然后提供一下下载地址
下载地址
https://github.com/steveloughran/winutils
https://github.com/selfgrowth/apache-hadoop-3.1.1-winutils
2.6.5 - 3.2.1 版本的winutils 下载路径 https://gitee.com/shockingblue/winutils