Hive中处理json类型数据

一、直接以字符串传入

1、利用函数进行抽取处理

get_json_object(jsonstr,'$.col01')`
lateral view json_tuple(jsonstr,'col01','col02') t1 as c1,c2

二、serDe(先导入jar包Index of /hive-json-serde)

1、根据字段建表，可以处理复杂的json。

2、每行要为完整的json,不能跨行

3、建表时指定serDe`:

ROW FORMAT SERDE 'org.openx'.data.jsonserde.JsonSerDe`

4、坏数据（例如格式错误)，解决：

`ALTER TABLE json_table SET SERDEPROPERTIES ( "ignore.malformed.json" = "true");`

（错误一行返回null）

5、将标量转化为数组：如果将表声明为array<string>，如果SerDe找到一个标量，它将返回一个单元素的数组，从而有效地将标量提升为数组。 但是标量必须是正确的类型。

6、映射Hive关键词：有时可能发生的是，JSON数据具有名为hive中的保留字的属性。 例如，您可能有一个名为“timestamp”的JSON属性，它是hive中的保留字，当发出CREATE TABLE时，hive将失败。 此SerDe可以使用SerDe属性将hive列映射到名称不同的属性。

WITH SERDEPROPERTIES ("mapping.新名字"="旧名字")