2018年09月23日 16:49:17 sky-mz 阅读数:114
mongodb数据以json的形式写入hive
CDH为6.0.0
1、http://www.congiu.net/hive-json-serde/1.3.8/cdh5/
json-serde-1.3.8-jar…> 02-May-2017 11:18 83K
json-udf-1.3.8-jar-w…> 02-May-2017 11:18 2.2K
json-hive-schema-1.0-jar-with-dependencies.jar
下载jar包到hive/lib目录下
2、
hadoop fs -get /user/lzm/json-udf-1.3.8-jar-with-dependencies.jar /opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/hive/lib/
hadoop fs -get /user/lzm/json-serde-1.3.8-jar-with-dependencies.jar /opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/hive/lib/
3、
在Hive的 hive-site.xml 的 Hive 服务高级配置代码段(安全阀) 中添加以下参数,以便在beeline中可执行admin的操作
hive.aux.jars.path
/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/hive/lib
修改完重启hive
4、
生成创建表的语句:java -jar json-hive-schema-1.0-jar-with-dependencies.jar students.dat(文件名) students_text1(表名)
在hive命令行中:LOAD DATA LOCAL INPATH ‘/data/cloudera/students.dat’(数据文件) OVERWRITE INTO TABLE students_text1(导入的表)
也可参考https://blog.csdn.net/u011331430/article/details/79034097
5、
备注
如导入数据时出现json格式不兼容,在创建表时可添加属性:WITH SERDEPROPERTIES (“ignore.malformed.json” = “true”);
hive中无法支持$符号。
6、
外表已经创建好。接下来可以在hive中查询到mongodb的数据了。
然后可以利用create table select * …来建表。
或者先create table。
然后在insert into …select *…
将mongodb数据迁移到hive中做ETL。