一、直接以字符串传入
1、利用函数进行抽取处理
get_json_object(jsonstr,'$.col01')` lateral view json_tuple(jsonstr,'col01','col02') t1 as c1,c2
二、serDe(先导入jar包Index of /hive-json-serde)
1、根据字段建表,可以处理复杂的json。
2、每行要为完整的json,不能跨行
3、建表时指定serDe`:
ROW FORMAT SERDE 'org.openx'.data.jsonserde.JsonSerDe`
4、坏数据(例如格式错误),解决:
`ALTER TABLE json_table SET SERDEPROPERTIES ( "ignore.malformed.json" = "true");`
(错误一行返回null)
5、将标量转化为数组:如果将表声明为array<string>,如果SerDe找到一个标量,它将返回一个单元素的数组,从而有效地将标量提升为数组。 但是标量必须是正确的类型。
6、映射Hive关键词:有时可能发生的是,JSON数据具有名为hive中的保留字的属性。 例如,您可能有一个名为“timestamp”的JSON属性,它是hive中的保留字,当发出CREATE TABLE时,hive将失败。 此SerDe可以使用SerDe属性将hive列映射到名称不同的属性。
WITH SERDEPROPERTIES ("mapping.新名字"="旧名字")