mongodb数据以json的形式写入hive再ETL

2018年09月23日 16:49:17 sky-mz 阅读数：114

mongodb数据以json的形式写入hive
CDH为6.0.0
1、http://www.congiu.net/hive-json-serde/1.3.8/cdh5/
json-serde-1.3.8-jar…> 02-May-2017 11:18 83K
json-udf-1.3.8-jar-w…> 02-May-2017 11:18 2.2K
json-hive-schema-1.0-jar-with-dependencies.jar
下载jar包到hive/lib目录下
2、
hadoop fs -get /user/lzm/json-udf-1.3.8-jar-with-dependencies.jar /opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/hive/lib/
hadoop fs -get /user/lzm/json-serde-1.3.8-jar-with-dependencies.jar /opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/hive/lib/
3、
在Hive的 hive-site.xml 的 Hive 服务高级配置代码段（安全阀） 中添加以下参数，以便在beeline中可执行admin的操作

hive.aux.jars.path
/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/hive/lib

修改完重启hive
4、
生成创建表的语句：java -jar json-hive-schema-1.0-jar-with-dependencies.jar students.dat（文件名） students_text1（表名）
在hive命令行中：LOAD DATA LOCAL INPATH ‘/data/cloudera/students.dat’（数据文件） OVERWRITE INTO TABLE students_text1（导入的表）
也可参考https://blog.csdn.net/u011331430/article/details/79034097
5、
备注
如导入数据时出现json格式不兼容，在创建表时可添加属性：WITH SERDEPROPERTIES (“ignore.malformed.json” = “true”);
hive中无法支持$符号。
6、
外表已经创建好。接下来可以在hive中查询到mongodb的数据了。
然后可以利用create table select * …来建表。
或者先create table。
然后在insert into …select *…
将mongodb数据迁移到hive中做ETL。