Spark java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32

最新推荐文章于 2025-09-09 03:21:00 发布
原创 最新推荐文章于 2025-09-09 03:21:00 发布 · 8.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文解决了Spark程序在使用saveAsTextFile时遇到的错误，该错误源于Spark版本与Hadoop版本不匹配。提供了两种解决方案：一是重新下载并配置对应版本的Spark；二是自行编译Spark源码。

环境： Spark1.3-Hadoop2.6-bin 、Hadoop-2.5
在运行Spark程序写出文件(savaAsTextFile)的时候，我遇到了这个错误：

java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeVerifyChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J)V
at org.apache.hadoop.util.NativeCrc32.nativeVerifyChunkedSums(Native Method)
at org.apache.hadoop.util.NativeCrc32.verifyChunkedSums(NativeCrc32.java:57)
at org.apache.hadoop.util.DataChecksum.verifyChunkedSums(DataChecksum.java:291)
at org.apache.hadoop.hdfs.BlockReaderLocal.doByteBufferRead(BlockReaderLocal.java:338)
at org.apache.hadoop.hdfs.BlockReaderLocal.fillSlowReadBuffer(BlockReaderLocal.java:388)
at org.apache.hadoop.hdfs.BlockReaderLocal.read(BlockReaderLocal.java:408)
at org.apache.hadoop.hdfs.DFSInputStream$ByteArrayStrategy.doRead(DFSInputStream.java:642)
at org.apache.hadoop.hdfs.DFSInputStream.readBuffer(DFSInputStream.java:698)
at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:752)
at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:793)
at java.io.DataInputStream.read(DataInputStream.java:149)
at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:192)
at org.apache.hadoop.hbase.util.FSUtils.getVersion(FSUtils.java:495)
at org.apache.hadoop.hbase.util.FSUtils.checkVersion(FSUtils.java:582)
at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:460)
at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:151)
at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:128)
at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:790)
at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:603)
at java.lang.Thread.run(Thread.java:744)

查到的还是什么window远程访问Hadoop的错误，最后查阅官方文档HADOOP-11064

HADOOP-11064

看描述可以清楚这是Spark版本与Hadoop版本不适配导致的错误，遇到这种错误的一般是从Spark官网下载预编译好的二进制bin文件。

因此解决办法有两种：
1. 重新下载并配置Spark预编译好的对应的Hadoop版本
2. 从官网上下载Spark源码按照预装好的Hadoop版本进行编译（毕竟Spark的配置比Hadoop轻松不少）。

Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi
CSDN 精品推荐
03-08 1132
使用IDEA运行MapReduce程序出现 `Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z` 问题。
idea中Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Native
qq_56572867的博客
04-02 965
这个困扰了我三天的问题，之前已经不想解决了，直到再一次遇到，决定彻底干它，之前也在网上搜了一些解决它的办法，什么改变环境还有加入NativeIO，都没有用，不过最后还是使用了NativeIO的方法解决了，之前一直没有用的原因是，没有把文件放对位置 正确的位置应该是放在java包下，和项目包并行，而且必须是这个包名org.apache.hadoop.io.nativeio和NativeIO这个类名，不然不能覆盖原来的这个类 下面附上NativeIO的源码，有的包可能要自己引一下，细节上应该不用说了
hadoop java.lang.UnsatisfiedLinkError
09-12
解决方案：Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo
（最终解决）java.lang.UnsatisfiedLinkError解决尝试
06-01
NULL 博文链接：https://jameskaron.iteye.com/blog/2291495
Apache Hadoop数据迁移校验：使用Checksum确保数据一致性
最新发布
gitblog_00741的博客
09-09 780
在分布式系统中，数据迁移（如跨集群同步、备份恢复、云存储迁移）面临三大一致性挑战： - **网络传输错误**：TCP校验和仅能检测数据包级错误，无法发现应用层数据篡改 - **存储介质故障**：磁盘坏道可能导致静默数据损坏（Silent Data Corruption） - **软件缺陷**：HDFS客户端或存储系统的BUG可能导致数据写入异常 Apache Hadoop提供多层级校验机制，其中...
java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
kw-home
02-10 4158
在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav，这个问题折腾了我很久，后来找到方法解决。 描述一下:电脑是win7的64位
本地spark报错：java.lang.UnsatisfiedLinkError:
zl202111的博客
03-14 517
Spark学习中，运行。
E:\anaconda3\anaconda\python.exe G:/dashuju/zshixun/daima/ider_daima/lyh_git/offline-pyspark/gmall_product/new1.py Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 25/07/31 10:36:21 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Traceback (most recent call last): File "G:\dashuju\zshixun\daima\ider_daima\lyh_git\offline-pyspark\gmall_product\new1.py", line 39, in <module> .parquet(mock_data_path) \ ^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\86158\AppData\Roaming\Python\Python312\site-packages\pyspark\sql\readwriter.py", line 544, in parquet return self._df(self._jreader.parquet(_to_seq(self._spark._sc, paths))) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\86158\AppData\Roaming\Python\Python312\site-packages\py4j\java_gateway.py", line 1322, in __call__ return_value = get_return_value( ^^^^^^^^^^^^^^^^^ File "C:\Users\86158\AppData\Roaming\Python\Python312\site-packages\pyspark\errors\exceptions\captured.py", line 179, in deco return f(*a, **kw) ^^^^^^^^^^^ File "C:\Users\86158\AppData\Roaming\Python\Python312\site-packages\py4j\protocol.py", line 326, in get_return_value raise Py4JJavaError( py4j.protocol.Py4JJavaError: An error occurred while calling o37.parquet. : java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:793) at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:1249) at org.apache.hadoop.fs.FileUtil.list(FileUtil.java:1454) at org.apache.hadoop.fs.RawLocalFileSystem.listStatus(RawLocalFileSystem.java:601) at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1972) at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:2014) at org.apache.hadoop.fs.ChecksumFileSystem.listStatus(ChecksumFileSystem.java:761) at org.apache.spark.util.HadoopFSUtils$.listLeafFiles(HadoopFSUtils.scala:180) at org.apache.spark.util.HadoopFSUtils$.$anonfun$parallelListLeafFilesInternal$1(HadoopFSUtils.scala:95) at scala.collection.TraversableLike.$anonfun$map$1(TraversableLike.scala:286) at scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62) at scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:55) at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:49) at scala.collection.TraversableLike.map(TraversableLike.scala:286) at scala.collection.TraversableLike.map$(TraversableLike.scala:279) at scala.collection.AbstractTraversable.map(Traversable.scala:108) at org.apache.spark.util.HadoopFSUtils$.parallelListLeafFilesInternal(HadoopFSUtils.scala:85) at org.apache.spark.util.HadoopFSUtils$.parallelListLeafFiles(HadoopFSUtils.scala:69) at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$.bulkListLeafFiles(InMemoryFileIndex.scala:162) at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.listLeafFiles(InMemoryFileIndex.scala:133) at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.refresh0(InMemoryFileIndex.scala:96) at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.<init>(InMemoryFileIndex.scala:68) at org.apache.spark.sql.execution.datasources.DataSource.createInMemoryFileIndex(DataSource.scala:539) at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:405) at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:229) at org.apache.spark.sql.DataFrameReader.$anonfun$load$2(DataFrameReader.scala:211) at scala.Option.getOrElse(Option.scala:189) at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:211) at org.apache.spark.sql.DataFrameReader.parquet(DataFrameReader.scala:563) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244) at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:374) at py4j.Gateway.invoke(Gateway.java:282) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) at py4j.commands.CallCommand.execute(CallCommand.java:79) at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182) at py4j.ClientServerConnection.run(ClientServerConnection.java:106) at java.lang.Thread.run(Thread.java:748) 怎么解决
08-01
在使用 PySpark 读取 Parquet 文件时，如果遇到 `java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0` 异常，通常与 Hadoop 本地库的配置有关，尤其是在 Windows 环境下。...
spark2.3.1执行Spark SQL操作Parquet数据源错误解决（UnsatisfiedLinkError:uncompressedLength(Ljava/nio/ByteBuffer）
Lockey23的博客
08-14 1919
scala&gt; namesDF.foreach(attributes =&gt;println("Name: " + attributes(0)+" favorite color:"+attributes(1))) [Stage 1:&gt; (0 + 1) / 1]2018-0...
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IIL...
Gamedev
01-22 3752
在window Eclipse中运行Hadoop和Spark程序时会遇见如下异常错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J
Spark java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
迷路剑客个人博客
10-10 1191
java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path 我用的mac，在运行spark程序时遇到此问题。我使用的相关依赖包的版本如下： &lt;scala.version&gt;2.11.8&lt;/scala.version&gt; &lt;scala.binary.version&gt;2.11&lt;/scal...
Spark运行出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljav
sun_code的博客
06-01 2777
Spark运行出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误 最近下载了下spak，跑个hello word小Demo，准备如下门，使用的是local方式的，在idea中跑wordcount，就出现了上述问题。按照网上说的，hadoop.ddl和winutils.exe都放到hadoop的bin下面了，而且还根据还放到了C:/win
Spark写入数据到本地时报错java.lang.UnsatisfiedLinkError
蚂蚁
08-08 1625
在IDEA中运行Spark程序往本地写入数据时 有可能会报java.lang.UnsatisfiedLinkError的错误 解决方案1：配置Hadoop Common环境变量 配置这个变量的原因是因为Windows下运行大数据环境有可能会出现兼容性问题 如果不配置Spark相应版本的Hadoop Common的版本，有可能就会报错 所有下载Spark对应版本的Hadoop Common...
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo...
weixin_33877885的博客
11-08 238
这是由于hadoop.dll 版本问题，2.4之前的和自后的需要的不一样     需要选择正确的版本并且在 Hadoop/bin和 C：\windows\system32 上将其替换
spark mllib java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dposv解决办法
he0216334284的专栏
01-28 776
Spark documentation clearly mentions that MLLib uses native libraries, which need to be present on the nodes. for debian/ubuntu use: sudo apt-get install jblas libgfortran3
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums
weixin_34250434的博客
12-02 209
为什么80%的码农都做不了架构师？>>> ...
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi...
weixin_33937499的博客
04-06 343
1、window操作系统的eclipse运行wordcount程序出现如下所示的错误: Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apach...
解决spark-shell中java.lang.UnsatisfiedLinkError: org.xerial.snappy.SnappyNative.maxCompressedLength(I)I
someby的博客
11-06 2105
在运行Schema Merging示例代码的时候遇到问题以及解决： 1.示例代码： // This is used to implicitly convert an RDD to a DataFrame. import spark.implicits._ // Create a simple DataFrame, store into a partition directory val s...
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
微电子学与固体电子学-俞驰
07-24 1288
hive中的报错信息，完全看不懂，   最后我参考了 http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed19fa950d100b92235c4380146d8b804b2281d25f93130a1c187bb8fd777f5b45ce87616c02aa4d5fe9f42172405966e8c5dccd179ded9d747cce7c70...
java.lang.ExceptionInInitializerError: Exception java.lang.UnsatisfiedLinkError:
12-07
`java.lang.ExceptionInInitializerError` 表示在初始化类时发生了异常。`java.lang.UnsatisfiedLinkError` 表示在尝试加载本地库时发生了异常。通常情况下，这是由于本地库文件不存在或无法加载所致。这可能是由于库文件路径不正确或库文件不兼容等原因导致的。要解决此问题，您可以尝试以下几种方法： 1.检查本地库文件是否存在，并确保路径正确。 2.检查本地库文件是否与您的操作系统和JVM兼容。 3.检查您的JVM是否具有加载本地库文件的权限。 4.尝试将本地库文件复制到JVM库路径中。 以下是一个示例代码，演示了如何处理 `java.lang.ExceptionInInitializerError` 和 `java.lang.UnsatisfiedLinkError` 异常： ```java public class Example { static { try { System.loadLibrary("example"); } catch (UnsatisfiedLinkError e) { System.err.println("Native code library failed to load.\n" + e); System.exit(1); } } public static void main(String[] args) { try { // 初始化类时可能会发生异常 MyClass myClass = new MyClass(); } catch (ExceptionInInitializerError e) { System.err.println("Exception occurred during initialization of MyClass.\n" + e); } } } class MyClass { static { // 加载本地库时可能会发生异常 System.loadLibrary("mylib"); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值