Hive映射MongoDB

最新推荐文章于 2023-11-09 15:38:23 发布
最新推荐文章于 2023-11-09 15:38:23 发布
阅读量4.5k 收藏 7
点赞数 3
分类专栏： 个人总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflh323/article/details/88409702
版权
本文介绍了如何在CDH5.11.1环境下，将Hive与MongoDB集成，用于从MongoDB抽取数据进行分析。主要步骤包括下载并放置相关jar包，设置文件权限，创建Hive外部表映射MongoDB数据，并通过示例展示了表的创建及数据加载过程。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
kevin_wf
关注
专栏目录
MongoDB 与 Hive集成
zp17834994071的博客
10-24 1132
前面已经说过很多数据库之间可以互相集成，今天也和大家说下MongoDB 与 Hive集成，其实MongoDB 与 Hive集成和Hbase 与 Hive集成有很多相似之处，都是到Hive中创建，只不过Hbase 与 Hive集成是Hive中创建的表名、行键、列簇名等都要和Hbase中的一一对应。那么MongoDB 与 Hive集成是不是也一样呢？下面就和大家说下。 1.拷贝 jar 包 版本要按安装的相关软件版本要求的来，jar 包可以去http://mvnrepository.com/下载就可以了，使用
hive关联MongoDB
04-15
工作中经常会遇到从hive中往MongoDB中写数据，其中经常会遇到一些bug仅供参考
通过hive映射MongoDB
wgyzzzz的博客
10-13 744
文章目录一 MongoDB数据二 hive建表语句三 查询hive表 一 MongoDB数据 > db.user_friend.find() { "_id" : ObjectId("5f83260eafd3bb6e8c7efcfb"), "user_id" : "3197468391", "friend_id" : "3873244116" } { "_id" : ObjectId("5f83260eafd3bb6e8c7efcfc"), "user_id" : "3197468391", "frie
hive 映射 mongodb
qq_15009447的博客
06-08 348
代码 create external table ${db}.mg_train( user_id String, event_id String, invited String, time_stamp String, interested String ) stored by 'com.mongodb.hadoop.hive.MongoStorageHandler' with serdeproperties ( 'mongo.columns.mapping'=' { "user_id":"user", "e
mongo 数据映射到 hive 表中全过程
weixin_61686644的博客
08-19 653
mongo 数据映射到 hive
Hive连接MongoDB
thriving_fcl的博客
05-21 9013
Hive连接MongoDBHive上创建的表可以是HDFS-based，也可以是MongoDB-based。MongoDB-based的Hive表，其实就是一个将MongoDB collection的数据与Hive表的字段相关联的映射。
MongoDB往Hive导数据
thriving_fcl的博客
09-11 8897
注：这里用Hive泛指数据仓库，数据还是存储在HDFS里。想要从MongoDB往Hive导数据主要有两种方式。
MongoDB的数据导入到HDFS上的Hive中记录
aizhenshi的博客
09-26 3750
需求公司以前的旧数据存放在服务器上面的MongoDB上,现在要使用这些数据进行大数据分析处理,那么就出现了MongoDB的数据导入到HDFS上的Hive数据表中的需求.现在写下该博客Mark一下!实现步骤1.下载jar文件:版本要求摘自https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage mongo-hadoop-core-2.0.2.ja
MongoDB部署与对接CDH的Hive
weixin_44964846的博客
04-30 411
本篇文章，参考了两位大佬的博客，稍微做了一些修改，仅仅供参考。 一、MongoDB部署 1.1 软件版本 CDH6.2.1 MongoDB3.4.24 CentOS7 1.2 下载 点击链接https://www.mongodb.com/try/download/community，进入官网下载rpm文件： 我们需要下载四个package: 1、server: mongoDB的服务端程序 2、utilities: 附加工具，如数据导入导出（可选） 3、mongos: 部署集群（可选） 4、shell: 用
Hive-mongo:用于连接 MongoDB 的 hive 存储处理程序
07-11
这是 Apache HIVE 的 MongoDB 存储处理程序的快速而肮脏的实现。 ＃＃警告： 目前仅支持 Hive 原始类型：string、int、smallint.... 不应在“mongo.column.mapping”字符串中的条目之间使用空格，因为这些将作为列名的一部分进行解释，这不是您想要的。 如果您想要“插入覆盖”功能，您必须将一个名为的字段映射到“_id”字段（MongoDB 集合中的对象 ID）。 一些代码是从 Balshor 的 Google Spreadsheet Handler（ ）和 HyperTable Hive 扩展（ ）借用/引用的，谢谢您的帮助。 ##How to build 这是一个关于如何构建的简单指南，希望对您有所帮助（感谢 WalterDalton 提供信息）： 确保您安装了 java sdk（否则从下载并安装）， $JAVA_H
mongo-hadoop-hive-2.0.2.jar
01-26
本JAR包用于把Mongo数据抽取到hive种对表字段的映射，如果没有这个包，是无法映射的
hive 连接mongodb
weixin_44144932的博客
09-03 485
hive连接mongodb 相关jar包： https://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-core/2.0.2/mongo-hadoop-core-2.0.2.jar https://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-h...
MongoDB与大数据平台的整合（Hive、Spark）
weixin_49165958的博客
03-16 782
一、 mongodb与hive整合 1.拷贝jar包到hive的lib目录 2.在hive中创建表，关联mongodb create table individuals( id int, name string, age int, work STRUCT<title:string,hours:int>) stored by "com.mongodb.hadoop.hive.MongoStorageHandler" with serdeproperties ('mongo.columns.map
安装hive与mongodb
weixin_39296576的博客
04-06 606
安装hive（我的hadoop版本3.1.2） 安装hive之前要先安装下mysql，选择了mysql-5.7.x版本 wgethttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 下载在当前目录下，并在当前目录下执行命令 tar -zxvf mysql-5.7.2...
mongodb数据同步到hive
xiaoliizi的博客
11-09 1538
通过 datax 从 mongodb 同步数据到 hive
Mongodb数据导入集群hive数仓
June_de_love的博客
07-13 2026
Mongodb数据导入集群数仓的方式
spark从mongodb导入数据到hive
feng的博客
11-15 3903
1、首先添加mongo-spark依赖，官网地址 https://docs.mongodb.com/spark-connector/ org.mongodb.spark mongo-spark-connector_2.10 1.1.0 2、直接上代码 object Mongo2Hive {
Hive、Hbase、mysql、MongoDB、Redis、elasticSearch区别|对比
nikyae的博客
04-07 1210
Hive、Hbase、mysql区别
基于java将mongodb的list类型数据解析同步到hive中的完整示例代码
最新发布
09-12
在Java中，我们可以使用MongoDB的驱动程序如`mongodb-driver`以及Apache Hive的JDBC连接来实现从MongoDB到Hive的数据迁移。以下是一个简单的示例，展示如何查询MongoDB集合并将其转换为DataFrame，然后写入Hive表： ```java import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; import com.mongodb.client.MongoClients; import com.mongodb.client.MongoClient; import com.mongodb.client.MongoCollection; import com.mongodb.client.MongoDatabase; public class MongoDBToHiveExample { public static void main(String[] args) { // 创建SparkSession SparkSession spark = SparkSession.builder() .appName("MongoDB to Hive Example") .master("local[*]") .getOrCreate(); try (MongoClient mongoClient = MongoClients.create("mongodb://localhost:27017"); // 替换为实际MongoDB地址 MongoDatabase db = mongoClient.getDatabase("your_database_name"); MongoCollection<Document> collection = db.getCollection("your_collection_name")) { // 查询MongoDB列表 List<Document> documents = collection.find().into(new ArrayList<>()); // 将MongoDB文档转换为RDD，再转化为DataFrame Dataset<Row> df = spark.createDataFrame(documents, Document.class) .toDF(); // 假设Document类有相应的字段映射 // 写入Hive表，假设表名已存在并且有适当的列结构 df.write.format("jdbc") .option("url", "jdbc:mysql://localhost:3306/your_hive_db") // 替换为Hive的URL .option("dbtable", "your_hive_table_name") .mode("overwrite") // 如果表已存在则覆盖 .save(); } catch (Exception e) { e.printStackTrace(); } } } ``` 注意：这个示例假设你已经有了MongoDB和Hive的连接，并且已经安装了Spark和相关的库。此外，你需要处理异常，处理连接设置，并可能根据实际情况调整数据类型映射。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值