今天这篇文章主要分析一下 hive 清洗 json 格式的数据,常用的两个函数。
第一个是
get_json_object
hive中解析一般的json是很容易的,使用 get_json_object 就可以了。 get_json_object 函数第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;
例子:
select get_json_object('{"name":"jack","server":"www.qq.com"}','$.server')
json_tuple
对与返回多个字段的场景,它比 json_tuple 更加高效。具体是如何使用呢,下面给个实例
select a.timestamp, get_json_object(a.appevents, '$.eventid'), get_json_object(a.appenvets, '$.eventname') from log a;
可以改成如下写法:
select a.timestamp, b.* from log a lateral view json_tuple(a.appevent, 'eventid', 'eventname') b as f1, f2;
explode
但如果字段是json数组,比如
[{"bssid":"6C:59:40:21:05:C