Spark2.x Incompatible Jackson version: 2.7.9-4

最新推荐文章于 2023-11-13 20:23:42 发布

随时出发

最新推荐文章于 2023-11-13 20:23:42 发布

阅读量1.1k

点赞数

本文链接：https://blog.csdn.net/weixin_37656371/article/details/89160939

版权

在Spark2.x版本中结合Kafka开发时，可能会遇到Jackson库版本2.7.9-4的不兼容错误。解决此问题的方法包括：1) 在Kafka的依赖配置中排除Jackson的相关模块；2) 显式地将Jackson库升级或降级至与Spark兼容的版本。

摘要由CSDN通过智能技术生成

在使用spark2.X，同时用到kafka开发时，可能会存在Incompatible Jackson version: 2.7.9-4 不兼容情况

解决办法：1、在kafka节点排除对Jackson 的引用 ；

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-8_2.10</artifactId>
            <version>${spark.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>com.fasterxml.jackson.core</groupId>
                    <artifactId>*</artifactId>
                </exclusion>
            </exclusions>
          </dependency>

2、替换Jackson版本。