hive中json格式字段解析及map使用

leap_ruo

已于 2022-06-14 10:17:04 修改

阅读量4.2k

点赞数

分类专栏： hive 文章标签： hive json hadoop

于 2021-11-07 10:55:11 首次发布

本文链接：https://blog.csdn.net/airstudy/article/details/121188850

版权

本文介绍了在Hive中处理包含JSON格式字段的数据，包括如何使用get_json_object、explode、split、regexp_replace、regexp_extract等函数进行JSON字符串解析。同时，对于简单的key-value场景，文章建议使用Hive的map类型来简化处理过程。

摘要由CSDN通过智能技术生成

json

如果hive表中有扩展字段，那么扩展字段格式最常见的就是json格式，所以如何解析json字符串相对繁琐（虽然没啥技术😁）
用到的hive功能函数有:get_json_object、explode、split、regexp_replace、regexp_extract

-- json字段样式：[{'a':1, 'b':2}, {'a':3, 'b':4}], 字段名称为json_str
select 
	col_id,
	get_json_object(json_item, '$.a') as new_a, -- 读取json_str中的key为“a”的数据
from table_name
lateral view explode(split