spark从mongodb导入数据到hive

goingandgoing

于 2016-11-15 13:38:37 发布

阅读量3.9k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/u012660667/article/details/53170370

版权

本文介绍了如何利用mongo-spark连接器将数据从MongoDB导入到Hive，包括依赖添加、代码示例及数据加载配置文件的格式说明。

摘要由CSDN通过智能技术生成

1、首先添加mongo-spark依赖，官网地址 https://docs.mongodb.com/spark-connector/

       <dependency>
            <groupId>org.mongodb.spark</groupId>
            <artifactId>mongo-spark-connector_2.10</artifactId>
            <version>1.1.0</version>
        </dependency>

2、代码

object Mongo2Hive {

  def MongodbToHive(args: Array[String], sc: SparkContext): Unit = {

    val hiveContext = new HiveContext(sc)

    val Array(schemaFilePath, queryCondition): Array[String] = args

    val schemaFile = sc.textFile(schemaFilePath).collect()

    val Array(schemaStruct, requireFields, tempTableName, sql, mongodbConfig) = schemaFile

    //MongoDB Config
    val json = JSON.parseObject(mongodbConfig)

    //mongodb host
    val hostList