java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(Ljava/lang/String；

最新推荐文章于 2023-03-14 20:25:49 发布

努力就是魅力

最新推荐文章于 2023-03-14 20:25:49 发布

阅读量410

点赞数

分类专栏：大数据 spark 文章标签： hadoop hdfs big data

本文链接：https://blog.csdn.net/nulijiushimeili/article/details/122737014

版权

在尝试使用Spark3运行HelloWorld并读取本地文件夹时遇到错误，具体表现为`java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(Ljava/lang/String;`。当指定读取单个文件时，程序可以正常运行并返回结果，但读取文件夹时则报错，问题尚待解决。

摘要由CSDN通过智能技术生成

问题描述

在运行Spark3 HelloWorld 指定读取本地文件的时候，指定文件夹，报错。指定到文件可以运行出结果。

出错

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfoByNativeIO(RawLocalFileSystem.java:823)
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:737)
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.getPermission(RawLocalFileSystem.java:705)
    at org.apache.hadoop.fs.LocatedFileStatus.<init>(LocatedFileStatus.java:52)
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:2168)
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:2148)
    at org.apache.hadoop.mapred.FileInputFormat.singleThreadedLis