spark load时的jackson报错

最新推荐文章于 2024-02-21 16:54:56 发布

机智帅气的葫芦娃

最新推荐文章于 2024-02-21 16:54:56 发布

阅读量2.9k

点赞数

分类专栏： spdk 文章标签： spark jackson

本文链接：https://blog.csdn.net/clever_wr/article/details/123731820

版权

spdk 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

在spark本地使用spark-submit进行运行时，如果出现下面的报错主要是因为在load文件时，文件的格式是json，这时候普通的load无法识别json的格式则会报错，报错如下：

com.fasterxml.jackson.module.scala.deser.bigdecimaldeserializer$.handledtype()ljava/lang/class

这时候需要在pom.xml中添加jackson相关的maven依赖，然后进行mvn install。

  <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-annotations</artifactId>
      <version>2.11.4</version>
    </dependency>
  <dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.11.4</version>
  </dependency>
    <dependency>
      <groupId>com.fasterxml.jackson.module</groupId>
      <artifactId>jackson-module-scala_2.11</artifactId>
      <version>2.11.4</version>
    </dependency>
    <dependency>
      <groupId>com.fasterxml.jackson.module</groupId>
      <artifactId>jackson-module-paranamer</artifactId>
      <version>2.11.4</version>
  </dependency>

然后刷新maven，最后重新本地运行即可。