Spark迁移Hive数据到MongoDB(UpdateSave|UpsertSave)

最新推荐文章于 2024-02-03 02:18:25 发布
最新推荐文章于 2024-02-03 02:18:25 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： MongoDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gavin_chun/article/details/85135415
版权

Hive emp表数据

hive (soul)> select * from emp;
OK
emp.empno	emp.ename	emp.job	emp.age	emp.deptno
7369	SMITH	CLERK	24	10
7499	ALLEN	SALESMAN	30	20
7521	WARD	SALESMAN	25	30
7654	MARTIN	SALESMAN	23	10
7698	BLAKE	MANAGER	29	40

pom

  <properties>
    <scala.version>2.11.8</scala.version>
    <spark.version>2.2.0</spark.version>
    <hive.version>1.1.0</hive.version>
  </properties>

<dependency>
      <groupId>org.mongodb.spark</groupId>
      <artifactId>mongo-spark-connector_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>

    <dependency>
      <groupId>org.mongodb</groupId>
      <artifactId>mongo-java-driver</artifactId>
      <version>3.6.3</version>
    </dependency>


    <dependency>
      <groupId>org.mongodb</groupId>
      <artifactId>bson</artifactId>
      <version>3.4.0</version>
    </dependency>


    <!--SparkHive-->
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>
    <!--MySQL Driver-->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.39</version>
    </dependency>

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>

MongoDB 的updateSave(对已有数据进行更新) upsertSave(有就更新没有就插入)工具类

package com.soul.utils

import com.mongodb.client.MongoCollection
import com.mongodb.client.model.{ReplaceOneModel, UpdateOneModel}
import com.mongodb.spark.MongoConnector
import com.mongodb.spark.config.WriteConfig
import org.apache.spark.rdd.RDD
import org.bson.Document
import scala.collection.JavaConverters._
import scala.reflect.ClassTag

/**
  * @author soulChun
  * @create 2018-12-18-20:37
  */
object MongoUtils {


  val DefaultMaxBatchSize = 100000

  def updateSave[D: ClassTag](rdd: RDD[UpdateOneModel[Document]]): Unit = updateSave(rdd, WriteConfig(rdd.sparkContext))

  def updateSave[D: ClassTag](rdd: RDD[UpdateOneModel[D]], writeConfig: WriteConfig): Unit = {
    val mongoConnector = MongoConnector(writeConfig.asOptions)
    rdd.foreachPartition(iter => if (iter.nonEmpty) {
      mongoConnector.withCollectionDo(writeConfig, { collection: MongoCollection[D] =>
        iter.grouped(DefaultMaxBatchSize).foreach(batch => collection.bulkWrite(batch.toList.asJava))
      })
    })
  }


  def upsertSave[D: ClassTag](rdd: RDD[ReplaceOneModel[Document]]): Unit = upsertSave(rdd, WriteConfig(rdd.sparkContext))

  def upsertSave[D: ClassTag](rdd: RDD[ReplaceOneModel[D]], writeConfig: WriteConfig): Unit = {
    val mongoConnector = MongoConnector(writeConfig.asOptions)
    rdd.foreachPartition(iter => if (iter.nonEmpty) {
      mongoConnector.withCollectionDo(writeConfig, { collection: MongoCollection[D] =>
        iter.grouped(DefaultMaxBatchSize).foreach(batch => collection.bulkWrite(batch.toList.asJava))
      })
    })
  }


}

一、将DF存入MongoDB

package com.soul.sparkmg;
import com.mongodb.client.model.Filters;
import com.mongodb.client.model.ReplaceOneModel;
import com.mongodb.client.model.UpdateOneModel;
import com.mongodb.client.model.UpdateOptions;
import com.mongodb.spark.MongoSpark;
import com.soul.utils.MongoUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.hive.HiveContext;
import org.bson.Document;

/**
 * @author soulChun
 * @create 2018-12-15-16:17
 */
public class SparkHiveToMg {
    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setAppName("SparkHiveToMg").setMaster("local[2]");
        //如何你的密码中有@符号 请用%40代替
        conf.set("spark.mongodb.output.uri", "mongodb://root:root@127.0.0.1/soul_db.emp");
        JavaSparkContext jsc =  new JavaSparkContext(conf);
        HiveContext hc = new HiveContext(jsc);
        Dataset<Row> df  =hc.table("soul.emp");

        //直接存DF到MongoDB
        MongoSpark.save(df);
        jsc.stop();
    }
}

启动程序会自动在MongoDB建表emp(emp是在uri中指定的，可以自己修改)，然后将数据插入，发现五条数据已存入MongoDB。
在这里插入图片描述

二、将RDD存入MongoDB

package com.soul.sparkmg;

import com.mongodb.client.model.Filters;
import com.mongodb.client.model.ReplaceOneModel;
import com.mongodb.client.model.UpdateOneModel;
import com.mongodb.client.model.UpdateOptions;
import com.mongodb.spark.MongoSpark;
import com.soul.utils.MongoUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.hive.HiveContext;
import org.bson.Document;

/**
 * @author soulChun
 * @create 2018-12-15-16:17
 */
public class SparkHiveToMg {
    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setAppName("SparkHiveToMg").setMaster("local[2]");
        //如何你的密码中有@符号 请用%40代替
        conf.set("spark.mongodb.output.uri", "mongodb://root:root@127.0.0.1/soul_db.emp");
        JavaSparkContext jsc =  new JavaSparkContext(conf);
        HiveContext hc = new HiveContext(jsc);
        Dataset<Row> df  =hc.table("soul.emp");

        //直接存DF到MongoDB
//        MongoSpark.save(df);

        JavaRDD<Row> rdd = df.toJavaRDD();
        //insert
        JavaRDD<Document> rddDoc= rdd.map(new Function<Row, Document>() {
            public Document call(Row row) throws Exception {
                Document doc = new Document();
                doc.put("empno",row.get(0));
                doc.put("ename",row.get(1));
                doc.put("job",row.get(2));
                doc.put("age",row.get(3));
                doc.put("deptno",row.get(4));
                return doc;
            }
        });
        MongoSpark.save(rddDoc);

        jsc.stop();
    }
}

三、对已有数据进行更新
将MongoDB中第一个文档的age改成100
在这里插入图片描述

然后运行以下程序

package com.soul.sparkmg;

import com.mongodb.client.model.Filters;
import com.mongodb.client.model.ReplaceOneModel;
import com.mongodb.client.model.UpdateOneModel;
import com.mongodb.client.model.UpdateOptions;
import com.mongodb.spark.MongoSpark;
import com.soul.utils.MongoUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.hive.HiveContext;
import org.bson.Document;

/**
 * @author soulChun
 * @create 2018-12-15-16:17
 */
public class SparkHiveToMg {
    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setAppName("SparkHiveToMg").setMaster("local[2]");
        //如何你的密码中有@符号 请用%40代替
        conf.set("spark.mongodb.output.uri", "mongodb://root:root@127.0.0.1/soul_db.emp");
        JavaSparkContext jsc =  new JavaSparkContext(conf);
        HiveContext hc = new HiveContext(jsc);
        Dataset<Row> df  =hc.table("soul.emp");

        //直接存DF到MongoDB
//        MongoSpark.save(df);
        JavaRDD<Row> rdd = df.toJavaRDD();

        //update
        JavaRDD<UpdateOneModel<Document>> rddUpdate= rdd.map(new Function<Row, UpdateOneModel<Document>>() {
            public UpdateOneModel<Document> call(Row row) throws Exception {
                Document doc = new Document();
                doc.put("empno",row.get(0));
                doc.put("ename",row.get(1));
                doc.put("job",row.get(2));
                doc.put("age",row.get(3));
                doc.put("deptno",row.get(4));
                Document modifiers = new Document();
                modifiers.put("$set",doc);
                return new UpdateOneModel<Document>(Filters.eq("empno",doc.get("empno")),modifiers,new UpdateOptions().upsert(true));
            }
        });
        MongoUtils.updateSave(rddUpdate.rdd(),rddUpdate.classTag());
        jsc.stop();
    }
}

运行完毕后查看MongoDB中还是五条数据，而且age已更新为原有的30
在这里插入图片描述

四、对已有数据进行更新而且没有的进行插入
删除MongoDB中emp的4、5文档，而且将第一个文档的age改为200
在这里插入图片描述

然后运行以下程序

package com.soul.sparkmg;

import com.mongodb.client.model.Filters;
import com.mongodb.client.model.ReplaceOneModel;
import com.mongodb.client.model.UpdateOneModel;
import com.mongodb.client.model.UpdateOptions;
import com.mongodb.spark.MongoSpark;
import com.soul.utils.MongoUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.hive.HiveContext;
import org.bson.Document;

/**
 * @author soulChun
 * @create 2018-12-15-16:17
 */
public class SparkHiveToMg {
    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setAppName("SparkHiveToMg").setMaster("local[2]");
        //如何你的密码中有@符号 请用%40代替
        conf.set("spark.mongodb.output.uri", "mongodb://root:root@127.0.0.1/soul_db.emp");
        JavaSparkContext jsc =  new JavaSparkContext(conf);
        HiveContext hc = new HiveContext(jsc);
        Dataset<Row> df  =hc.table("soul.emp");
        JavaRDD<Row> rdd = df.toJavaRDD();
        //upsert
        JavaRDD<ReplaceOneModel<Document>> rddUpsert= rdd.map(new Function<Row, ReplaceOneModel<Document>>() {
            public ReplaceOneModel<Document> call(Row row) throws Exception {
                Document doc = new Document();
                doc.put("empno",row.get(0));
                doc.put("ename",row.get(1));
                doc.put("job",row.get(2));
                doc.put("age",row.get(3));
                doc.put("deptno",row.get(4));
//                Document modifiers = new Document();
//                modifiers.put("$set",doc);
                return new ReplaceOneModel<Document>(Filters.eq("empno",doc.get("empno")),doc,new UpdateOptions().upsert(true));
            }
        });

        MongoUtils.upsertSave(rddUpsert.rdd(),rddUpsert.classTag());
        jsc.stop();
    }
}

会发现数据已恢复
在这里插入图片描述

如果对数据进行Update或者Upsert的时候记得将
Filters.eq(“empno”,doc.get(“empno”)
关联字段empno在MongoDB中设置成索引字段，可以提高性能。如果公司有调度平台(支持动态传参)可以将上面的内容改写成插件，支持任意Hive表的迁移。

A_ChunUnique
关注
专栏目录
Spark迁移与Spark3.0集群部署
悦分享
01-17 66
同样不推荐使用ora.apache.spark.sql.execution.streaming.OneTimeTirgger,请改用Trigger.Once。将pom.xml进行替换，将准备好的pom.xml覆盖上去。（4）配置spark-default.conf。（2）将hive-site.xml复制过来。（5）配置spark-env.sh。（6）解决guava包冲突。（7）启动历史服务器。
大数据架构师选型必懂：大数据离线数仓开发框架详解与对比(hive、Spark SQL、Impala、Doris）
最新发布
大模型大数据攻城狮的专栏
09-30 473
Hive是基于Hadoop的一个数据仓库工具，它的出现为大数据处理领域带来了革命性的变革。Hive能够将结构化数据文件映射为数据库表，使得用户能够像操作关系数据库一样操作Hadoop中的数据。这一特性极大地降低了Hadoop的使用门槛，使得更多企业和组织能够利用Hadoop进行大规模数据处理和分析。在Hadoop生态系统中，Hive扮演着至关重要的角色。它为用户提供了一个熟悉且易于使用的SQL接口，使得用户能够在不离开Hadoop平台的情况下进行数据查询和分析。
Spark sql 数据迁移
sinadrew的博客
04-12 2678
数据迁移当然可以使用sqoop,但是我使用的时候发现配置不当有很多错误，使用起来很麻烦，于是自己就用了最原始的方法来迁移数据，熟练步骤了其实也很快，给大家一个参考一、迁移一张表查看表结构：desc table tb1;查看建表sql语句：show create tabletb1;1.同一个数据仓库中复制表和数据,使用CTAS语句;常用的三种方案：a.完全复制拷贝：create table tb2 ...
java整合spark迁移hive数据到mongo
ProBaiXiaodi的博客
09-07 766
java整合spark迁移hive数据到mongo
JAVA中Spark迁移数据-hive到mongoDB（没数据添加有数据则更新）
ProBaiXiaodi的博客
11-04 796
JAVA中Spark迁移数据-hive到mongoDB（没数据添加有数据则更新）
Spark案例分析：迁移学习在Spark中的应用
AI天才研究院
02-03 567
1. 背景介绍 随着人工智能技术的不断发展，迁移学习作为一种新兴的机器学习方法，受到了越来越多的关注。迁移学习可以将已有的知识和经验应用到新的任务中，从而提高模型的泛化能力和效果。而Spark作为一种分布式计算框架，具有高效、可扩展、易用等优点，被广泛应用于大规模数据处理和机器学习任务中。本文将介绍迁移学习在Spark中的应用，包括核心概念、算法原理、具体操作步骤、最佳实践、实际应用场景、工具和...
MongoDB的数据导入到HDFS上的Hive中记录
aizhenshi的博客
09-26 3753
需求公司以前的旧数据存放在服务器上面的MongoDB上,现在要使用这些数据进行大数据分析处理,那么就出现了MongoDB的数据导入到HDFS上的Hive数据表中的需求.现在写下该博客Mark一下!实现步骤1.下载jar文件:版本要求摘自https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage mongo-hadoop-core-2.0.2.ja
百亿数据入库mongodb生产实践（一）
人生如流沙的博客
07-02 9465
一、mongo基本概念    请参考我之前的一篇文章：mongo基本概念 和使用，也可通过官方文档或者别的博客进行了解。二、数据背景和业务诉求（看到这里，笔者认为您是对mongo已经有所了解了）    2.1 目标数据    鉴于公司数据安全要求，这里不对数据具体内容做描述。源数据通过一个中转集群拷贝至我们的生产环境hadoop集群中，业务数据分为几块大的领域，但是每个领域的数据结构基本相同。主要...
基于java将mongodb的list类型数据解析同步到hive中的完整示例代码
09-12
在Java中，我们可以使用MongoDB的驱动程序如`mongodb-driver`以及Apache Hive的JDBC连接来实现从MongoDB到Hive的数据迁移。以下是一个简单的示例，展示如何查询MongoDB集合并将其转换为DataFrame，然后写入Hive表： ...
MongoDB数据接入实践
IDEAL Garden
08-02 289
我们的数据仓库基于Hive构建，Hive的设计可以很好的兼容关系型数据库，如果数据源是关系型数据库，数据接入会相对容易。如何从非关系型数据库中接入数据呢？这里面有没有什么经验值得分享呢？本文将就非关系型数据库接入数据平台分享一些我们实践中的一些故事和经验。......
从MPP数仓迁移至Spark：案例与最佳实践分享
03-31
本次主要分享关于迁移实际案例与最佳实践更加深入的探讨。在迁移过程中，我们遇到了很多的预料之外的问题，如字符集问题，数字进位问题，各种OOM等等，更加深入地了解了Spark和RDMBS之间的差异。在弥补鸿沟和解决问题的过程中，我们做了很多的实践，贡献给了社区很多的反馈，也解决了很多的bug。即便对于Spark当前不能处理的场景，比如recurisve query，也有了一些可行的探索。此外，我们现在还开发了一套自动化框架来帮助加速迁移工作。在这次分享中，我们会深入迁移的关键步骤，并分享踩过的一些坑，最后会介绍我们的自动化工具，如SQL Converter等。相信对正工作在类似的任务或者即将开展类似工作的工程师们会有所帮助。 下面是PPT原文：关注 Hadoop技术博文 并回复 ebay_spark 获取本文PPT。
在spark中将数据插入到hive、parquet表中及用户定义函数
Gscsd的博客
04-21 7071
在spark中将数据插入到hive表      步骤：            1. 创建数据集的sparkdataFrame                这里使用的是TmpDF = spark.createDataFrame(RDD, schema)这种方法创建的            2. 将数据集的dataFrame格式映射到临时表                使用createOrRepl...
使用spark将hive中的数据导入到mongodb
11-23 1525
import com.huinong.truffle.push.process.domain.common.constant.Constants; import com.mongodb.spark.MongoSpark; import com.mongodb.spark.config.WriteConfig; import lombok.extern.slf4j.Slf4j; import org...
Spark 从Hive表中读数据或向Hive中写入数据
pageniao的博客
07-27 2472
Spark SQL支持在Hive中的数据读写，但是Hive中有大量的依赖在Spark中不存在，所以在使用过程中要配置这些依赖。 Configuration of Hive is done by placing your hive-site.xml, core-site.xml (for security configuration), and hdfs-site.xml (for HDFS configuration) file in conf/. 下面是使用Hive的测试： import org.apac
spark mongo
yisun123456的博客
10-16 719
Java Example // Set configuration options for the MongoDB Hadoop Connector. Configuration mongodbConfig = new Configuration(); // MongoInputFormat allows us to read from a live MongoDB instance. //
大数据的数据处理：通过spark对Hive表查询和添加数据
nfzhlk的专栏
01-30 2835
在处理大数据时，会用到spark平台，对于一些对实时性要求不高，但数据量比较大的场景，我们可以考虑将生成数据存入hive表中。那么怎么将数据按时间存入hive表中，怎么将hive表中的数据直接读取出来并做处理呢？废话不多说，直接上代码！ package spark; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import or
mongoDB同步数据到hive
热门推荐
allen的博客
11-30 1万+
sqoop作为很常用的数据同步工具，用于RDBMS和HDFS的数据迁移，但是不支持NoSql，比如说MongoDB，那如果我们需要同步mongoDB的数据到hive该怎么处理呢？下面提供下我的思路：1.我先去查询了一下mongoDB可以导出数据为CSV格式或者json格式的文件，CSV是以逗号分隔的，这样可以直接把这个文件put到hdfs中然后load到hive，但是有个问题就是：如果数据本身就自带
每日任务Scala语言Spark读Hive表写MongoDB内嵌文档格式
ITwangnengjie的博客
06-16 487
Hive表： name的时间流水数据。name数据可能是一条，可能多条数据。 name time d1 d2 d3 d4 d5 d6 d7 d8 d9 d10 d11 d12 d13 d14 d15 1 1563764501 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 156376
spark把hive数据同步到ES中（upsert）
sinat_25932097的博客
04-20 2626
spark把hive数据同步到ES中（upsert） 链接es的配置 private static Map<String, String> getEsOption() { Map<String, String> map = new HashMap<>(6); map.put("es.index.auto.create", "tr...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值