MongoDB的数据导入到HDFS上的Hive中记录

需求

公司以前的旧数据存放在服务器上面的MongoDB上,现在要使用这些数据进行大数据分析处理,那么就出现了MongoDB的数据导入到HDFS上的Hive数据表中的需求.现在写下该博客Mark一下!

实现步骤

1.下载jar文件:

版本要求摘自https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage
mongo-hadoop-core-2.0.2.jar
mongo-hadoop-hive-2.0.2.jar
mongo-java-driver-3.5.0.jar
下载地址:http://mvnrepository.com/

2.hadoop和hive的lib目录添加jar文件:

2.hadoop和hive的lib目录添加jar文件:
我们使用的是CDH集群,需要将这3个jar文件都添加到hadoop和hive的lib目录下,hadoop和hive的lib目录都要有这3个jar文件.
hadoop的lib目录是:/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib
hive的lib目录是:/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib/

3.hive添加jar文件: