sparkSQL读取 MongoDB 中存储的嵌套JSON数据，并解析写入hive中

HD0do(迪答数据)

已于 2022-05-16 21:53:49 修改

阅读量1k

点赞数 1

分类专栏： spark 文章标签： spark mongodb hive 大数据 etl

于 2021-08-14 22:59:07 首次发布

本文链接：https://blog.csdn.net/hd0do/article/details/119706465

版权

这篇博客介绍了如何使用SparkSQL从MongoDB中读取嵌套的JSON数据，解析复杂结构获取所需字段，并将数据写入Hive进行分析。在读取MongoDB数据时，重点解决了依赖问题和解析深层JSON字段的难点，最后讨论了数据写入Hive的步骤。

摘要由CSDN通过智能技术生成

背景：

spark读取MongoDB数据：

1.pom.xml文件导入

2.导入完成依赖后读取MongoDB数据：

3.解析获取MongoDB中嵌套的JSON字段

将数据写入到hive：

sparkSQL读取MongoDB数据，并解析嵌套JSON获取需要字段最终代码：

后记：

背景：

公司中业务数据一部分存储在MySQL数据库中，另一部分存储在MongoDB数据库中，因为我现在做的大数据平台要分析会员数据，对于会员中参加促销相关的信息存储在MongoDB中，所以需要将该数据读取出来写入hive中进行会员标签统计分析；

整个实现过程也参考了网上的一些文章，但是也还是遇到许多问题和难点，所以将整个实现过程中碰到的难点和问题做一简单记录，一是希望可以帮到有同样问题的小伙伴，二也是对这一问题的总结记录留待以后再此使用。

spark读取MongoDB数据：

1.pom.xml文件导入


        <!-- https://mvnrepository.com/artifact/org.mongodb.spark/mongo-spark-connector -->
        <dependency>
            <groupId>org.mongodb.spark</groupId>
            <artifactId>mongo-spark-connector_2.12</artifactId>
            <version>2.4.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>2.4.0</version>
            <scope>provided</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.mongodb/casbah-core -->
        <dependency>
            <groupId>org.mongodb</groupId>
            <artifactId>casbah-core_2.11</artifactId>
            <version>3.1.1</version>
        </dependency>

        <dependency>
            <groupId>com.thoughtworks.paranamer</groupId>
            <artifactId>paranamer</artifactId>
            <version>2.8</version>
        </dependency>

最后一个依赖是需要导入的，我当时没有导入这个依赖一直报如下错误，现在我还没有弄明白是因为什么原因，可能是因为我用的版本或者依赖的关系吧。

Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 10582
    at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader.accept(BytecodeReadingParanamer.java:563)
    at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader.access$200(BytecodeReadingParanamer.java:338)
    at com.thoughtworks.paranamer.BytecodeReadingParanamer.lookupParameterNames(BytecodeReadingParanamer.java:103)
    at com.thoughtworks.paranamer.CachingParanamer.lookupParameterNames(CachingParanamer.java:90)
    at com.fasterxml.jackson.module.scala.introspect.BeanIntrospector$.getCtorParams(BeanIntrospector.scala:44)
    at com.fasterxml.jackson.module.scala.introspect.BeanIntrospector$.$anonfun$apply$1(BeanIntrospector.scala:58)
    at com.fasterxml.jackson.module.scala.introspect.BeanIntrospector$.$anonfun$apply$1$adapted(BeanIntrospector.scala:58)
    at scala.collection.TraversableLike.$anonfun$flatMap$1(TraversableLike.scala:240)
    at scala.collection.Iterator.foreach(Iterator.scala:937)
    at scala.collection.Iterator.foreach$(Iterator.scala:937)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1425)
    at scala.collection.IterableLike.foreach(IterableLike.scala:70)
    at scala.collection.IterableLike.foreach$(IterableLike.scala:69)
    at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
    at scala.collection.TraversableLike.flatMap(TraversableLike.scala:240)
    at scala.collection.TraversableLike.flatMap$(TraversableLike.scala:237)
    at scala.collection.AbstractTraversable.flatMap(Traversable.scala:104)
    at com.fasterxml.jackson.module.scala.introspect.BeanIntrospector$.findConstructorParam$1(BeanIntrospector.scala:58)
    at com.fasterxml.jackson.module.scala.introspect.BeanIntrospector$.$anonfun$apply$19(BeanIntrospector.scala:176)
    at scala.collection.TraversableLike.$anonfun$map$1(TraversableLike.

2.导入完成依赖后读取MongoDB数据：

读取的方式很多样，再此只是写我用的方式，其他的方式可以百度了解一下：

object SparkMongo {
  def main(args: Array[String]): Unit = {
//这个需要在Windows开发环境下指定hadoop的路径，否则会报错找不到相应的工具类或者报错时候可以百度搜索一下就会有解决方案了
    System.setProperty