Spark SQL使用get_json_object函数解析json

最新推荐文章于 2025-03-22 21:16:51 发布

一个数据小开发

最新推荐文章于 2025-03-22 21:16:51 发布

阅读量1.1w

点赞数 4

分类专栏： # Spark

本文链接：https://blog.csdn.net/Aaron_ch/article/details/115142464

版权

Spark 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了如何使用SQL中的get_json_object函数从复杂JSON字符串中提取关键信息，例如时间戳、元数据类型和服务IP。通过示例查询，展示了如何解析JSON字段并获取特定对象和数组元素，这对于数据分析和信息提取至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

get_json_object(string json_string, string path)

说明：
第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。

举例：
数据准备如下：

使用实例：

with data_table as (select  "{
  \"timestamp\": \"2021-03-23T06:45:11.460Z\",
  \"metadata\": {
    \"beat\": \"filebeat\",
    \"type\": \"doc\",
    \"version\": \"6.6.1\",
    \"topic\": \"gateway_track_log\"
  },
  \"service_port\": \"1111\",
  \"service_name\": \"gateway\",
  \"service_ip\": [{\"ip_a\":\"100.100.89.09\"},{\"ip_b\":\"100.100.89.10\"}],
  \"center_name\": \"open\"
}" as col) 
select get_json_object(col,'$.timestamp') as `timestamp`,
       get_json_object(col,'$.metadata.type') as metadata_type,
       get_json_object(col,'$.service_ip[0].ip_a') as service_ip_a 
  from data_table;

结果如下：