Mongodb数据导入集群hive数仓

已于 2023-02-21 15:19:33 修改
阅读量1.8k 收藏 5
点赞数 1
分类专栏： python 文章标签： python mongodb 大数据 hive
于 2022-07-13 17:44:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/June_de_love/article/details/125764235
版权

一、hive方式映射数据

  1. 组件版本要求：
    • Hadoop 1.X版本必须是1.2及以上版本
    • Hadoop 2.X版本必须是2.4及以上版本
    • Hive版本必须是1.1及以上版本
    • 依赖的mongodb java dirver 版本必须是3.0.0及以上版本
  2. 依赖的jar包下载地址，根据需求选择不同版本：
  3. hive引入依赖jar包，以我的版本为例，在hiveCli窗口运行以下命令：
       ADD JAR /path-to/mongo-hadoop-core-2.0.2.jar;
   ADD JAR /path-to/mongo-hadoop-hive-2.0.2.jar;
   ADD JAR /path-to/mongo-java-driver-3.9.1.jar;
  • 使用list jars命令查看jar包是否加载成功，如下。
    在这里插入图片描述
  1. 创建hive与mongodb表映射关系，模板如下：
    CREATE [EXTERNAL] TABLE <tablename>
(<schema>)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
[WITH SERDEPROPERTIES('mongo.columns.mapping'='<JSON mapping>')]
TBLPROPERTIES('mongo.uri'='<MongoURI>');
或
CREATE [EXTERNAL] TABLE <tablename>
(<schema>)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
[WITH SERDEPROPERTIES('mongo.columns.mapping'='<JSON mapping>')]
TBLPROPERTIES('mongo.properties.path'='HiveTable.properties');

  • 使用mongo.columns.mapping选项指定对应关系，将 Hive列和Hive字段类型映射到MongoDB相应的表字段和类型。例如mongo.columns.mapping'='{"id":"_id","work.title":"job.position","class":"class"}，mapping左边对于hive的字段名，右边对应mongodb字段名，如hive字段和mongodb字段相同且符合hive命名规则，则可以不写。

  • 建议创建表时使用EXTERNAL外部表的形式，因为hive表被删除时，只删除元数据，而底层的mongodb原数据保持不变；如果创建的是内部表，则删除hive表的同时会删除与hive表关联的元数据和底层的mongodb原数据。为防止误删等危险操作导致数据丢失，建议使用外部表。

  • 参数mongo.uri为MongoDB的连接字符串，会将uri连接串存储在表中。如果你的连接串中包含凭据（例如用户名：密码）作为连接字符串的一部分进行传递时，建议使用参数mongo.properties.path指定定连接字符串在属性文件路径。

  • 标准的mongo.uri为：mongodb://[username:password@]host1[:port1][,...hostN[:portN]][/[defaultauthdb][?options]]，详细了解可查看官网mongodb官网

  • 对于mongodb的如果用户名或密码包含以下字符：: / ? # [ ] @时，这些字符必须使用转换
    百分比编码 ，提供转换工具 ，其实官网 也有对这种情况作出说明。

    在这里插入图片描述

  1. 实例演示：
  • mongodb数据库数据和字段
    在这里插入图片描述
  • 进入hiveCli窗口，执行以下命令：
    add jar hdfs:///user/hdfs/mongoJar/mongo-hadoop-core-2.0.2.jar;
add jar hdfs:///user/hdfs/mongoJar/mongo-hadoop-hive-2.0.2.jar;
add jar hdfs:///user/hdfs/mongoJar/mongo-java-driver-3.9.1.jar;

create external table if not exists runoob(
id STRING,
x STRING,
y STRING
)
stored by 'com.mongodb.hadoop.hive.MongoStorageHandler'
with serdeproperties('mongo.columns.mapping'='{"id":"_id"}')
tblproperties('mongo.uri'='mongodb://172.18.20.3:27017/test.runoob');

select * from runoob;
  • 执行结果如下，和mongodb数据库中的数据保持一致：
    在这里插入图片描述

二、spark方式映射数据

官方文档：MongoDB Connector for Spark

一. 读取mongodb数据

spark读取mongodb数据的方式有java、scala和python等多种方式，可通过官网 自行学习，本文仅介绍python方式。
python方式需要使用pyspark 或者 spark-submit的方式进行提交。

  1. pyspark启动的方式，使用pyspark启动命令行：
    # 根据自己的spark版本和scala版本选择，本地安装的spark版本为2.3.0，如果是其他版本需要修改版本号和scala的版本号
pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.0
    在这里插入图片描述

  • 在pyspark shell脚本输入如下代码：

    spark = SparkSession \
        .builder \
        .appName('mongodb') \
        .config('spark.mongodb.input.uri', 'mongodb://172.18.20.3:27017/test.runoob') \
        .enableHiveSupport() \
        .getOrCreate()

df = spark.read.format('com.mongodb.spark.sql.DefaultSource').load()

df.createOrReplaceTempView('runoob')

resDf = spark.sql('select * from runoob')

resDf.show()

spark.stop()

exit(0)

  • 输出的结果和mongodb数据保持一致：
    在这里插入图片描述

  1. spark-submit的方式启动
  • 编写read_mongo.py脚本，脚本内容如下：
    #!/usr/bin/python
# -*- coding: utf-8 -*-

from pyspark.sql import SparkSession

if __name__ == '__main__':
    spark = SparkSession \
        .builder \
        .appName('mongodb') \
        .config('spark.mongodb.input.uri', 'mongodb://172.18.20.3:27017/test.runoob') \
        .enableHiveSupport() \
        .getOrCreate()
        
    df = spark.read.format('com.mongodb.spark.sql.DefaultSource').load()
    
    df.createOrReplaceTempView('runoob')
    
    resDf = spark.sql('select * from runoob')
    
    resDf.show()
    
    spark.stop()
    
exit(0)
  • spark-submit的方式提交命令，这里采用nohup提交方式，结果输出在log文件中
    spark-submit \
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.0 \
--num-executors 1 \
--executor-memory 512M \
--executor-cores 1 \
--master yarn \
--name read_mongo \
--conf spark.port.maxRetries=1000 \
read_mongo.py  >> ./read_mongo.log &

二. 使用Schema约束读取mongo数据

  1. 采用pyspark的方式，在命令行中编写如下代码：
    # 导入包
from pyspark.sql.types import StructType, StructField, StringType, IntegerType

spark = SparkSession \
        .builder \
        .appName('mongodb') \
        .config('spark.mongodb.input.uri', 'mongodb://172.18.20.3:27017/test.runoob') \
        .enableHiveSupport() \
        .getOrCreate()

# 如果mongodb中的json字段太多，我们也可以通过schema限制，过滤掉不要的数据
# name 设置为StringType
# age 设置为IntegerType

schema = StructType([
    StructField("x", IntegerType()),
    StructField("y", IntegerType())
])

df = spark.read.format('com.mongodb.spark.sql.DefaultSource').schema(schema).load()

df.createOrReplaceTempView('runoob')

resDf = spark.sql('select * from runoob')

resDf.show()

spark.stop()

exit(0)
  • 输出的结果和mongodb数据保持一致：
    在这里插入图片描述

三. 写入mongodb数据

  1. 采用pyspark的方式，在pyspark shell中编写如下代码：

    # 导入包
from pyspark.sql.types import StructType, StructField, StringType, IntegerType

spark = SparkSession \
        .builder \
        .appName('mongodb') \
        .config('spark.mongodb.output.uri', 'mongodb://172.18.20.3:27017/test.runoob') \
        .enableHiveSupport() \
        .getOrCreate()

schema = StructType([
    StructField("x", IntegerType()),
    StructField("y", IntegerType())
])
df = spark.createDataFrame([(10, 20), (20, 30), (1, 2)], schema)

df.show()

df.write.format('com.mongodb.spark.sql.DefaultSource').mode("append").save()

spark.stop()

exit(0)

    在这里插入图片描述

  • 插入后的mongodb数据：
    在这里插入图片描述
  1. spark-submit的方式启动

  • 编写write_mongo.py脚本，脚本内容如下：

    #!/usr/bin/python
# -*- coding: utf-8 -*-

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType

if __name__ == '__main__':
    spark = SparkSession \
        .builder \
        .appName('mongodb') \
        .config('spark.mongodb.output.uri', 'mongodb://172.18.20.3:27017/test.runoob') \
        .enableHiveSupport() \
        .getOrCreate()
        
    schema = StructType([
        StructField("x", IntegerType()),
        StructField("y", IntegerType())
    ])
    df = spark.createDataFrame([(10, 20), (20, 30), (1, 2)], schema)
    
    df.show()
    
    df.write.format('com.mongodb.spark.sql.DefaultSource').mode("append").save()

    spark.stop()

exit(0)

  • spark-submit的方式提交命令，这里采用nohup提交方式，结果输出在log文件中

    spark-submit \
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.0 \
--num-executors 1 \
--executor-memory 512M \
--executor-cores 1 \
--master yarn \
--name read_mongo \
--conf spark.port.maxRetries=1000 \
write_mongo.py  >> ./write_mongo.log &

##四. 这里补充一个知识点

  • 使用pyspark启动命令行：

    pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.0

  • 上面使用 —package的方式可以直接在代码中通过配置写入，另外，读取和写入可以在一个SparkSession 中进行操作，如下：

    spark = SparkSession \
        .builder \
        .appName('mongodb') \
        .config('spark.mongodb.input.uri', 'mongodb://172.18.20.3:27017/test.runoob') \
        .config('spark.mongodb.output.uri', 'mongodb://172.18.20.3:27017/test.runoob') \
        .config('spark.jars.packages', 'org.mongodb.spark:mongo-spark-connector_2.11:2.3.0') \
        .enableHiveSupport() \
        .getOrCreate()

  • 这样就可以直接在idea中进行脚本运行和断点测试了，但注意本地pyspark的版本，因我本地idea安装的pyspark版本为3.1.2，所以配置的jar包为org.mongodb.spark#mongo-spark-connector_2.12;3.0.2，运行结果如下：
    在这里插入图片描述

深邃の挚友
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hadoop与MongoDB整合（Hive篇）
光于前裕于后的博客
06-17 2万+
1.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop2.MongoDB简介–摘自邹贵金的《mongodb》一书NoSQL数据库与传统的关系型数据库
hive关联MongoDB
04-15
工作中经常会遇到从hive中往MongoDB中写数据，其中经常会遇到一些bug仅供参考
Datax从入门到精通09-MongoDB同步到Hive实践
欲望以提升热忱 毅力以磨平高山
03-17 3201
一、MongoDB 时区概念： GMT 就是格林威治标准时间的英文缩写(Greenwich Mean Time 格林尼治标准时间)，是世界标准时间，GMT+8 是格林威治时间+8小时，中国所在时区就是gmt+8 。在国内，本地时间和“GMT+8”时区无区别。在国外，本地时间每个地方都不相同,所以只能用一条一条的经线计算时间。 然而，mongodb默认就是UTC时间，服务器端貌似无法设置，万能的网友提供的解决方案很多，网上一大堆，其根本原因就是驱动里面做了转换。参考https://blog.csdn.ne
导入Mongodb数据到Hive方法二
杨鑫newlife的专栏
10-17 4040
导入Mongodb数据到Hive方法二
mongo 数据映射到 hive 表中全过程
weixin_61686644的博客
08-19 586
mongo 数据映射到 hive
将mongodb的数据导入到hive中
alisa_Ge的博客
05-08 1443
第一种方法：做hive与mongodb映射 先将需要的三个mongo相关的jar包放到hive110/lib下，并授权为777.具体参照https://blog.csdn.net/alisa_Ge/article/details/116531789?spm=1001.2014.3001.5501 创建hive的外部表： create external table test.mongodb_users( user_id string, locale string, birthyear string,
MongoDB数据导入Hive
giantleech的博客
06-07 672
MongoDB数据导入Hive 方法和Hbase导入hive类似，区别在于，需要现在Mongodb设置一个账户 创建用户 进入mongodb后开始操作： //创建管理员账户 userAdminAnyDatebase 为管理员权限，可以管理，不能关闭数据库 > use admin switched to db admin > db.createUser({user:"admin",pwd:"admin",roles:[{"role":"userAdminAnyDatabase","db":"a
mongodb数据同步到hive
xiaoliizi的博客
11-09 1301
通过 datax 从 mongodb 同步数据到 hive
MongoDB迁移数据到hive
nannan1232的专栏
10-16 378
1、从MongoDB中导出csv文件； mongoexport --host 172.16.177.214 --port 27017 --db monitor_center_backup --collection 'city' --type csv --fields _id,city_name,prov_id --out /home/ljn/mongodb_file/city.csv 2、hive中创建表结构 CREATE EXTERNAL TABLE `city`(`_id` int,`city_n
深入分析Mongodb数据的导入导出
09-10
几天想着公司要用MongoDB,自然就要用到数据导入导出,就自己学习了一下。本文介绍了mongoDb导入导出数据的方法,有需要的朋友参考下。
mongo-hive:将您的 MongoDB 集合加载到 Hive 中。 支持复杂的JSON结构
06-08
Mongo - Hive 连接器 将 MongoDB 集合加载到 Hive 的超级简单方法。 该代码通过对每个 MongoDB 记录进行深入检查并导出每个字段的数据类型来自动创建 Hive 模式。 支持基本数据类型、嵌套对象、原始数据类型数组和对象数组。 嵌套字段被展平成列。 数组通常被拆分为不同的（子）Hive 表，与根表具有父/子关系。 这个怎么运作 连接到您的 MongoDB 并将指定的集合提取到本地文件中，然后将其复制到 HDFS。 MapReduce 生成模式（将副本保存回 MongoDB 以获取信息）。 MapReduce 转换数据，将数组分解为 HDFS 输出文件夹中的多个文件。 使用在步骤 2 中生成的架构创建 Hive 表。 使用步骤 3 中生成的 HDFS 文件加载 Hive 表。 先决条件 您有一个 Hadoop 集群。 您可以通过 SSH 连接到主节点
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
MongoDB 导出导入备份恢复数据详解及实例
12-16
数据库备份和数据恢复的重要性，我想大家都知道，这里就举例说明如何操作数据备份，数据恢复的实例： 创建测试数据 创建db:testdb,collection:user,插入10条记录 mongo MongoDB shell version: 3.0.2 connecting to...
mongoDb导入数据csv说明文档
09-29
mongoDb导入数据csv 说明文档
第五节课《LMDeploy 量化部署 LLM 实践》
最新发布
fanre的专栏
05-06 248
PDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666提取码：6666。
SpringBoot中实现发送邮件
hac1322的博客
04-30 575
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
python学习笔记----循环语句（四）
取个名字太难了a的博客
04-28 1042
随机数种子在生成随机数的过程中起到一个非常重要的作用。它是用于初始化随机数生成算法（伪随机数生成器）的初始值。随机数种子的作用可重复性：当你使用特定的种子值初始化随机数生成器时，即使在不同的运行环境或不同时间，生成的随机数序列都将是相同的。这对于调试和测试非常重要，因为它允许程序的行为在使用随机数时保持一致。控制随机性：种子提供了一种方法来控制随机数生成过程。通过改变种子，你可以获得不同的随机数序列，这对于模拟和其他需要随机输入的应用非常有用。
python复习（三）
qq_43710593的博客
04-29 369
类是一种面向。
【python】python基础1
七月尘上
04-29 408
注释：单行注释：#多行注释：“”“”“”批量注释：ctl+?,取消注释继续执行一次就行标识符命名规范：1、变量名、类名、函数名只能由数字、字母、下划线组成2、不能以数字开头3、严格区分大小写4、不能以关键字命名定义变量的方式：1、var1 = 值12、var1,var2=值1，值23、var1,var2=值1交换两个变量的值：输出命令解析：sep:输出内容以什么进行分割end:输出以什么结尾file:输出内容以文件形式输出到指定文件。
hive数仓数据流程图
07-27
抱歉，我无法提供图片或图表。但是，根据引用\[1\]和引用\[3\]的内容，可以给出一个简要的描述。Hive数仓数据流程图通常包括以下几个步骤： 1. 数据来源：数据可以来自不同的数据源，如HDFS、MySQL、Redis、MongoDB、TiDB等。每个数据源都有一个特定的标识，比如01代表HDFS数据，02代表MySQL数据等。 2. ODS层：原始数据几乎无处理地存放在ODS层，也称为操作数据存储区。ODS层的数据结构与源系统基本保持一致。 3. 数据处理：在ODS层，可以对原始数据进行必要的处理，如数据清洗、转换、合并等。这些处理可以使用Hive等工具进行。 4. 数据仓库：经过处理后的数据被加载到数据仓库中。数据仓库是一个用于存储和管理数据的系统，通常采用分布式存储和处理技术。 5. 数据展示：最后，使用报表展示工具（如FineBI）对数据进行可视化和分析，以便用户能够更好地理解和利用数据。 请注意，这只是一个简要的描述，实际的Hive数仓数据流程图可能会更加复杂和详细。 #### 引用[.reference_title] - *1* *3* [Hive之数仓的分层及建模理论](https://blog.csdn.net/qq_56870570/article/details/118938411)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [1——Hive数仓项目完整流程（在线教育）](https://blog.csdn.net/m0_57588393/article/details/127702966)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值