spark运行报： Scala module 2.10.0 requires Jackson Databind version ＞= 2.10.0 and ＜ 2.11.0

最新推荐文章于 2024-08-24 11:25:20 发布

猫头鹰数据分析

最新推荐文章于 2024-08-24 11:25:20 发布

阅读量4.7k

点赞数 3

分类专栏： Spark Java 文章标签： spark scala

本文链接：https://blog.csdn.net/suwei825/article/details/119236798

版权

Java 同时被 2 个专栏收录

30 篇文章 2 订阅

订阅专栏

Spark

12 篇文章 0 订阅

订阅专栏

这是jackson多版本问题 , 我们需要屏蔽所有hadoop 组件中的Jackson ,修改pom文件,之后就不报异常了

     <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>com.fasterxml.jackson.module</groupId>
                    <artifactId>*</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.fasterxml.jackson.core</groupId>
                    <artifactId>*</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
       <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>com.fasterxml.jackson.module</groupId>
                    <artifactId>*</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.fasterxml.jackson.core</groupId>
                    <artifactId>*</artifactId>
                </exclusion>
            </exclusions>
        </dependency>