从MongoDB导入数据到HDFS方法3补充_hdf5 还是 mongodb-CSDN博客

公司以前的旧数据存放在服务器上面的MongoDB上,现在要使用这些数据进行大数据分析处理,那么就出现了MongoDB的数据导入到HDFS上的Hive数据表中的需求.现在写下该博客Mark一下!

实现步骤

1.下载jar文件:

版本要求摘自https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage
mongo-hadoop-core-2.0.2.jar
mongo-hadoop-hive-2.0.2.jar
mongo-java-driver-3.5.0.jar
下载地址:http://mvnrepository.com/

2.hadoop和hive的lib目录添加jar文件:

2.hadoop和hive的lib目录添加jar文件:
我们使用的是CDH集群,需要将这3个jar文件都添加到hadoop和hive的lib目录下,hadoop和hive的lib目录都要有这3个jar文件.
hadoop的lib目录是:/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib
hive的lib目录是:/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib/

3.hive添加jar文件:

启动hive,使用命令:

add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-hadoop-core-2.0.2.jar
add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-hadoop-hive-2.0.2.jar
add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-java-driver-3.5.0.jar
 
 1
2
3

4.在hive中创建mongoDB数据的映射表:

mongoDB的数据表内容如下:
{
“_id” : ObjectId(“5951ce7f6bc99c30e4d54348”),
“_class” : “com.cbb.bean.Behavior”,
“id_user” : “null”,
“id_other” : “cb1498533354896”,
“city” : “K昆明市”,
“page” : “通道首页”,
“behavior” : “complete_bank”,
“time” : ISODate(“2017-06-27T03:16:29.000Z”),
“origin” : “android_m”,
“value” : “交通银行,平安银行”
}

hive创建临时表:

CREATE EXTERNAL TABLE temp
(
  id  STRING, 
  `_class` STRING, 
  id_user STRING, 
  id_other STRING,
  city STRING, 
  page STRING, 
  behavior STRING, 
  time STRING, 
  origin STRING, 
  value STRING
)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id"}')
TBLPROPERTIES('mongo.uri'='mongodb://IP:PORT/DATABASE.TABLE');
 
 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

提示成功后可以使用命令select * from temp [limit...]查看temp表里面是否映射数据成功.
这个时候,表里面的数据还是保存在mongoDB里面的,对表temp进行操作时,操作的数据和结果也是保存在mongoDB里面的.

5.数据同步到hive上面:

现在我们的需求是将mongoDB的数据迁移保存到HDFS上面.用CTAS语句就可以实现这个需求.
将映射表mongoDB的数据映射表temp的数据保存到hive上的表behavior中,使用如下命令:

create table behavior as select * from temp;
 
 1

这时候可以使用命令查看内容验证数据是否加载到HDFS上的Hive中,也可以在HDFS的WEBUI界面查看hive的目录/user/hive/warehouse/…是否存在新的数据表目录文件.

社区指导

Github上面有完整的Documentation,链接:https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage,英文OK的同学在上面可以解答很多疑问!!

阅读全文