hive的Json解析大集合(好文收藏)

最新推荐文章于 2024-06-28 11:11:25 发布

周同学来了

最新推荐文章于 2024-06-28 11:11:25 发布

阅读量771

点赞数 4

分类专栏： hive 文章标签：大数据

本文链接：https://blog.csdn.net/weixin_45857425/article/details/117667360

版权

本文介绍了在大数据环境中，如何使用Hive内置函数get_json_object和json_tuple来解析JSON格式的数据。get_json_object用于获取JSON字符串中特定key的值，而json_tuple则能一次性解析多个字段。当遇到JSON数组时，可以结合explode和regexp_replace函数进行处理。文章提供了具体的示例，帮助读者理解如何解析包含数组的JSON数据。

摘要由CSDN通过智能技术生成

需求背景:
日常生产环境中,对于埋点上报数据中有json格式的数据,需要解析json格式的字符串里面的字段和数值.对于这种需求,hive系统内置解析json格式的函数.

1.get_json_object(jsonstr,’$.key’)

说明:str表示待解析的map,key抽取指定字段的值;这个函数每次只能返回一个key对应的值;若想要解析多个key的值只能多写几次这个函数才行

测试:
select get_json_object('{"id":"c1","address":"shenzheng"}','$.id') id;
结果:
id:c1

2.json_tuple(jsonstr,key1,key2,key3,…)

说明:解析json格式的字符串,之前的get_json_object,不能一次性解析,那么就衍生出了
json_tuple这个函数,可以一次性解析多个字段

测试1:
select 
json_tuple('{"id":"001","name":"zhangsan","address":"shenzheng"}','id','name','address') as (id,name,address)
结果:
id name address
001 zhangsan shenzheng

测试2:
select
b.id,
b.name
from a lateral view 
json_tuple('{"id":"001","name":"zhangsan","address":"shenzheng"}','id','name') b as id,name;
结果:
id name
001 zhangsan