Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream

问题描述

  今天在做项目过程中，在使用java语言创建DataFrame在窗口打印数据，编译时总是报错，通过查阅资料最终问题得到解决。记录如下：开发环境为spark2.3 + kafka0.9.0。编辑软件使用的 IntelliJ IDEA，使用的语言是java语言。在进行ds的输出时出现如下错误：

Exception in thread “main” java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.(Ljava/io/InputStream;Z)V

  at org.apache.spark.io.LZ4CompressionCodec.compressedInputStream(CompressionCodec.scala:122)

  at org.apache.spark.sql.execution.SparkPlan.orgapachesparksqlexecutionSparkPlan$decodeUnsafeRows(SparkPlan.scala:274)

  at org.apache.spark.sql.execution.SparkPlan$$anonfun$executeTake$1.apply(SparkPlan.scala:366)
…
  at com.spark.session.UserVisitSessionAnalyzeSpark.main(UserVisitSessionAnalyzeSpark.java:72)

 错误展示

问题原因

  1.spark2.3用到了lz4-1.3.0.jar，kafka0.9.0.1用到了lz4-1.2.0.jar，而程序运行时使用的是lz4-1.3.0.jar。

  2.lz4-1.3.0.jar包中net.jpountz.util.Utils 类中没有checkRange，该方法位于net.jpountz.util.SafeUtils和net.jpountz.util.UnsafeUtils

解决方法

  在pom.xml文件中添加此配置项目。

<dependency>
    <groupId>net.jpountz.lz4</groupId>
    <artifactId>lz4</artifactId>
    <version>1.3.0</version>
</dependency>

最终结果

  错误得到解决，可以看到结果。

其他方法

  1.重新编译org.apache.kafka.common.message.KafkaLZ4BlockInputStream类，将调用net.jpountz.util.Utils.checkRange方法的地方改为 net.jpountz.util.SafeUtils.checkRange

  2.将编译后的class文件覆盖spark-streaming-kafka-0-8-assembly_2.11.jar包的文件

说明：上面的方法解决问题简单实用，因此采用了上述方法，下面这两种方法有兴趣大家自己可以试试。

参考网址：

https://github.com/apache/kafka/commit/69269e76a43adf85a478240280c6ab3c7eef4d8e

https://stackoverflow.com/questions/48446773/nosuchmethoderror-with-spark-streaming-2-2-0-and-kafka-0-8