Exception in thread “main“ java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeC

问题描述：

 

使用spark读取HDFS上文件时报错

Exception in thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

原因分析：

注意如果这个hadoop.dll的版本要和hadoop的一致，可以稍微高一点，低了可能就会报这个异常

---

解决方案：

下载hadoop.dll放到HADOOP_HOME的bin目录下和windows系统的c:/window/system32/

本人开发环境 hadoop版本为 2.5.x  , 下载的hadoop.dll版本为2.6.0 覆盖了以前的 hadoop.dll

如果需要本人使用的版本可以去本人上传的资源中下载。