【Python笔记】Sparksql get_json_object

get_json_object(string json_string, string path)
  • 第一个参数填写json对象变量
  • 第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;如果输入的json字符串无效,那么返回NULL。

data 为 test表中的字段,数据结构如下:

data =
{
 "store":
        {
         "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],  
         "bicycle":{"price":19.95,"color":"red"}
         }, 
 "email":"amy@only_for_json_udf_test.net", 
 "owner":"amy" 
}

1.get单层值

hive> select  get_json_object(data, '$.owner') from test;
结果:amy

2.get多层值.

hive> select  get_json_object(data, '$.store.bicycle.price') from test;
结果:19.95

3.get数组值[]

hive> select  get_json_object(data, '$.store.fruit[0]') from test;
结果:{"weight":8,"type":"apple"}
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
`to_json()`是Spark SQL中的一个函数,它用于将DataFrame或SQL查询结果转换为JSON格式的字符串。 使用`to_json()`函数,你可以将DataFrame的列转换为JSON对象,并将其作为一个新的列添加到DataFrame中。以下是一个示例代码: ```python from pyspark.sql import SparkSession from pyspark.sql.functions import to_json # 创建SparkSession spark = SparkSession.builder.getOrCreate() # 创建一个示例DataFrame data = [("Alice", 25, "USA"), ("Bob", 30, "Canada"), ("Charlie", 35, "UK")] df = spark.createDataFrame(data, ["name", "age", "country"]) # 使用to_json()函数将DataFrame转换为JSON字符串 df_with_json = df.withColumn("json_data", to_json(df)) # 显示结果 df_with_json.show(truncate=False) ``` 输出结果如下: ``` +-------+---+-------+--------------------------------------------------------+ |name |age|country|json_data | +-------+---+-------+--------------------------------------------------------+ |Alice |25 |USA |{"name":"Alice","age":25,"country":"USA"} | |Bob |30 |Canada |{"name":"Bob","age":30,"country":"Canada"} | |Charlie|35 |UK |{"name":"Charlie","age":35,"country":"UK"} | +-------+---+-------+--------------------------------------------------------+ ``` 上述代码中,我们使用`to_json(df)`将DataFrame `df`转换为JSON字符串,并将其添加为一个新的列`json_data`。每行数据都被转换为一个JSON对象,包含了每个列的键值对。 希望这可以回答你的问题!如果还有其他疑问,请随时提出。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值