zeppelin使用中的问题汇总

最新推荐文章于 2023-07-28 06:11:55 发布

xwc35047

最新推荐文章于 2023-07-28 06:11:55 发布

阅读量5.2k

点赞数 1

分类专栏： zeppelin 文章标签： spark zeppelin 错误整理

本文链接：https://blog.csdn.net/xwc35047/article/details/60137009

版权

本文汇总了在使用Zeppelin 0.6.2和0.7.1时遇到的Spark interpreter兼容性问题及JDK版本兼容问题，并提供了详细的解决步骤。包括更换Jackson库版本以解决0.6.2与Spark 2.0.1的冲突，以及调整JDK版本以适应0.7.1的兼容需求。此外，还提及了如何处理maven build过程中的checkstyle报错问题。

摘要由CSDN通过智能技术生成

1）使用zeppelin 0.6.2的spark interpreter报错

报错：java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.rdd.RDDOperationScope$
Interpreter output:com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.5.3

原因：zeppelin 0.6.2与spark2.0.1的Jackson version不兼容
处理方法：
1、删除zeppelin的lib包中jackson-annotations-2.5.0.jar、jackson-core-2.5.3.jar、jackson-databind-2.5.3.jar
2、把以上删除的包替换为spark使用的2.6.5版本（去maven repo下载）

2）zeppein 0.7.1 (0.7.2)与jdk1.7和1.8版本兼容性问题
报错：

org.apache.cxf.interceptor.Fault: org.apache.zeppelin.interpreter.InterpreterGroup.keySet()Ljava/util/concurrent/ConcurrentHashMap$KeySetView;

Caused by: java.lang.NoSuchMethodError: org.apache.zeppelin.interpreter.InterpreterGroup.keySet()Ljava/util/concurrent/ConcurrentHashMap$KeySetView;

处理方法：使用jdk 1.8运行zeppelin，或者使用jdk 1.7编译代码即可。参考