mongodb
文章平均质量分 53
smile_lty
这个作者很懒,什么都没留下…
展开
-
从MongoDB导入数据到HDFS方法1
从MongoDB导入数据到HDFS本节将使用MongoInputFormat类加载MongoDB中的数据导入HDFS中。准备工作使用Mongo Hadoop适配器最简单的方法是从GitHub上克隆Mongo-Hadoop工程,并且将该工程编译到一个特定的Hadoop版本。克隆该工程需要安装一个Git客户端。本节假定你使用的Hadoop版本是CDH3。Git客户端官方的下载地址是:http://gi...转载 2018-03-26 11:14:19 · 3021 阅读 · 0 评论 -
从MongoDB导入数据到HDFS方法2
sqoop作为很常用的数据同步工具,用于RDBMS和HDFS的数据迁移,但是不支持NoSql,比如说MongoDB,那如果我们需要同步mongoDB的数据到hive该怎么处理呢?下面提供下我的思路:1.我先去查询了一下mongoDB可以导出数据为CSV格式或者json格式的文件,CSV是以逗号分隔的,这样可以直接把...转载 2018-03-27 08:39:57 · 2097 阅读 · 0 评论 -
从MongoDB导入数据到HDFS方法3
1.背景公司希望使用MongoDB作为后端业务数据库,使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来,然后传到HDFS,然后用Hive/MR处理。我感觉这也太麻烦了,现在不可能没有人想到这个问题,于是就搜了一下,结果真找到一个MongoDB Connector ...转载 2018-03-27 11:30:37 · 6410 阅读 · 0 评论 -
从MongoDB导入数据到HDFS方法3补充
公司以前的旧数据存放在服务器上面的MongoDB上,现在要使用这些数据进行大数据分析处理,那么就出现了MongoDB的数据导入到HDFS上的Hive数据表中的需求.现在写下该博客Mark一下!实现步骤1.下载jar文件:版本要求摘自https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage mongo-hadoop-core-2.0...转载 2018-03-27 11:34:00 · 1380 阅读 · 0 评论 -
MongoDB导入导出以及数据库备份
1、导出工具:mongoexport 1、概念: mongoDB中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指定的条件导出数据。 2、语法: mongoexport -d dbname -c collectionname -o file --type json/cs...转载 2018-03-27 11:46:32 · 196 阅读 · 0 评论 -
MongoDB Connector for Hadoop(一)
1.MongoDB连接器2.MongoDB连接器 for Hive的两种用法3.Connecting to MongoDB - MongoStorageHandler3.1 安装3.2 Quickstart Example4.映射关系-Mappings4.1 映射字段和m...转载 2018-03-27 11:50:10 · 277 阅读 · 0 评论 -
MongoDB Connector for Hadoop(二)
I 问题II 解决方案1.导数据2.创建Hive表-Using BSON files - STORED AS (Specified SerDe, INPUT and OUTPUT)2.1建表语句语法:2.2 序列化和反序列化2.3 BSONSerDe Mappings-映射关...转载 2018-03-27 11:52:28 · 194 阅读 · 0 评论