hive接入多数据源

 

目录

一、接入JSON格式文件

二、接入mongodb数据

三、接入CSV文件

---

一、接入JSON格式文件

经常会有接口返回json格式数据，或者json格式日志文件需要接入到hive中

导入相应jar包来序列反序列化(SerDe)来解析json格式

add jar hive-hcatalog-core-0.13.0.jar

CREATE external TABLE IF NOT EXISTS schema.table_name
(
  distinct_id string,
  lib map<
    string,string 
  >,
  properties struct<
    `$browser`: string,
    act_id: string
  >,
  time bigint
)
partitioned by (ds string comment '日期分区，yyyy-MM-dd格式')
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
-- ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED AS TEXTFILE;

建表时，不需要写json和表字段的mapping，只需要保持字段名和json对象的key一致即可，顺序无所谓，否则解析出来值为null，所以即使建表时有json中不存在的key也可以，只不过值是null。对于json的key包含特殊字符在建表时加上`符号，例如`$column`、`_id`。

上述org.apache.hive.hcatalog.data.JsonSerDe 不支持忽略格式错误数据和字段映射