java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V

最新推荐文章于 2024-01-04 04:30:00 发布

煉心_

最新推荐文章于 2024-01-04 04:30:00 发布

阅读量3.2k

点赞数 1

分类专栏： Spark Hadoop 文章标签： Spark Hadoop

本文链接：https://blog.csdn.net/gangchengzhong/article/details/54574839

版权

在Spark 2.11-2.0.2与Hadoop 2.6.5环境下，通过Java APIs使用saveAsTextFile方法向HDFS导入日志时，出现`java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V`错误。解决方案是在Maven中添加hadoop-hdfs-2.6.5.jar依赖，问题解决。

摘要由CSDN通过智能技术生成

环境：

- Spark 2.11-2.0.2版本(在Eclipse下面使用Maven引入spark-core_2.11-2.0.2.jar)

- Hadoop 2.6.5版本

使用Spark的Java APIs(saveAsTextFile方法)把大量的日志导入远程的HDFS，遇到下面的java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V错误：

Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V
	at org.apache.hadoop.hdfs.DFSOutputStream.<init>(DFSOutputStream.java:1342)
	at org.apache.hadoop.hdfs.DFSOutputStream.<init>(DFSOutputStream.java:1371)
	at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1403)
	at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1382)
	at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1307)
	at org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:384)
	at org.apache.hadoop.hdf