目录
一、接入JSON格式文件
经常会有接口返回json格式数据,或者json格式日志文件需要接入到hive中
导入相应jar包来序列反序列化(SerDe)来解析json格式
add jar hive-hcatalog-core-0.13.0.jar
CREATE external TABLE IF NOT EXISTS schema.table_name
(
distinct_id string,
lib map<
string,string
>,
properties struct<
`$browser`: string,
act_id: string
>,
time bigint
)
partitioned by (ds string comment '日期分区,yyyy-MM-dd格式')
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
-- ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED AS TEXTFILE;
建表时,不需要写json和表字段的mapping,只需要保持字段名和json对象的key一致即可,顺序无所谓,否则解析出来值为null,所以即使建表时有json中不存在的key也可以,只不过值是null。对于json的key包含特殊字符在建表时加上`符号,例如`$column`、`_id`。
上述org.apache.hive.hcatalog.data.JsonSerDe 不支持忽略格式错误数据和字段映射