Hive 处理 json 数据就是这么简单高效

今天这篇文章主要分析一下 hive 清洗 json 格式的数据，常用的两个函数。

第一个是

get_json_object

hive中解析一般的json是很容易的，使用 get_json_object 就可以了。 get_json_object 函数第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；

例子：

​

select get_json_object('{"name":"jack","server":"www.qq.com"}','$.server')

​

json_tuple

对与返回多个字段的场景，它比 json_tuple 更加高效。具体是如何使用呢，下面给个实例

 

select 
a.timestamp,
get_json_object(a.appevents, '$.eventid'), 
get_json_object(a.appenvets, '$.eventname') 
from log a;

​

可以改成如下写法：

select
a.timestamp,
b.*
from log a 
lateral view json_tuple(a.appevent, 'eventid', 'eventname') b as f1, f2;

​

explode

但如果字段是json数组，比如

[{"bssid":"6C:59:40:21:05:C