Spark SQL 内置函数（四）JSON Functions（基于 Spark 3.2.0）

最新推荐文章于 2024-08-02 21:00:00 发布
最新推荐文章于 2024-08-02 21:00:00 发布
阅读量5.2k 收藏 7
点赞数 1
分类专栏： 大数据技术体系 文章标签： spark sql json
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shockang/article/details/121654035
版权

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

目录

Spark SQL 内置函数（一）Array Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（二）Map Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（三）Date and Timestamp Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（四）JSON Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（五）Aggregate Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（六）Window Functions（基于 Spark 3.2.0）

正文

from_json(jsonStr, schema[, options])

描述

返回基于给定 jsonStr 和 schema 的结构体类型。

实践

SELECT from_json('{"a":1, "b":0.8}', 'a INT, b DOUBLE');
+---------------------------+
|from_json({"a":1, "b":0.8})|
+---------------------------+
|                   {1, 0.8}|
+---------------------------+

SELECT from_json('{"time":"26/08/2015"}', 'time Timestamp', map('timestampFormat', 'dd/MM/yyyy'));
+--------------------------------+
|from_json({"time":"26/08/2015"})|
+--------------------------------+
|    {"time":2015-08-26 00:00:00}|
+--------------------------------+

options 支持列表

属性名称默认值意义使用范围
timeZone（配置值）spark.sql.session.timeZone设置指示时区 ID 的字符串，该时区 ID 用于设置 JSON 数据源或分区值中的时间戳的格式。支持以下格式：timeZone：1. 基于区域的区域 ID：它应具有"区域/城市"的形式，例如"美国/Los_Angeles"。2. 区域偏移：格式应为"(+/-)HH:mm"，例如"-08:00"或"+01:00"。此外，还支持将"UTC"和"Z"作为"+00:00"的别名。不建议使用其他短名称，如"CST"，因为它们可能不明确。读/写
primitivesAsStringfalse将所有基元值推断为字符串类型。读
prefersDecimalfalse将所有浮点值推断为十进制类型。如果值不适合十进制，则将其推断为双精度值。读
allowCommentsfalse忽略 JSON 记录中的 Java/C++样式注释。读
allowUnquotedFieldNamesfalse允许使用未加引号的 JSON 字段名称。读
allowSingleQuotestrue除双引号外，还允许使用单引号。读
allowNumericLeadingZerofalse允许数字中的前导零（例如 00012）。读
allowBackslashEscapingAnyCharacterfalse允许使用反斜杠引用机制接受所有字符的引用。读
modePERMISSIVE允许在解析期间处理损坏记录的模式。1. PERMISSIVE：当它遇到损坏的记录时，将格式错误的字符串放入 由 columnNameOfCorruptRecord 配置的字段中，并将格式错误的字段设置为 null。若要保留损坏的记录，用户可以在用户自定义 schema 中设置命名是 columnNameOfCorruptRecord的字符串类型字段。如果 schema 没有该字段，则会在分析过程中删除损坏的记录。推断schema 时，它会在输出schema 中隐式添加一个columnNameOfCorruptRecord字段。2. DROPMALFORMED：忽略整个损坏的记录。3. FAILFAST：在遇到损坏的记录时引发异常。读
columnNameOfCorruptRecord（配置值）spark.sql.columnNameOfCorruptRecord允许重命名由 PERMISSIVE模式创建的格式错误的字符串的新字段。这将覆盖spark.sql.columnNameOfCorruptRecord。读
dateFormatyyyy-MM-dd设置指示日期格式的字符串。自定义日期格式遵循日期时间模式中的格式。这适用于日期类型。读/写
timestampFormatyyyy-MM-dd’T’HH:mm:ss[.SSS][XXX]设置指示时间戳格式的字符串。自定义日期格式遵循日期时间模式中的格式。这适用于时间戳类型。读/写
multiLinefalse分析每个文件的一条记录，该记录可能跨越多行。读
allowUnquotedControlCharsfalse允许 JSON 字符串包含或不包含未加引号的控制字符（值小于 32 的 ASCII 字符，包括制表符和换行符）。读
encoding读取时当 multiLine 设置为 true 会进行自动检测，写入时默认为 UTF-8读取时，允许强制设置 JSON 文件的标准基本编码或扩展编码之一。例如 UTF-16BE、UTF-32LE。写入时，指定已保存 json 文件的编码（字符集）。读/写
lineSep（\r、\r\n 、 \n）（读取时）、 \n（写入时）定义应用于分析的行分隔符。读/写
samplingRatio1.0定义用于 shema 推断的输入 JSON 对象的占比。读
dropFieldIfAllNullfalse在 schema 推断期间，是忽略所有 null 值的列还是忽略空数组/struct。读
localeen-US将区域设置设置为 IETF BCP 47 格式的语言标记。例如，在解析日期和时间戳时使用locale。读
allowNonNumericNumberstrue允许 JSON 解析器将一组"非数字"（NaN） 符号识别为合法的浮动数字值。1. +INF：表示正无穷大，+Infinity以及Infinity的别名。2. -INF：对于负无穷大，-Infinity的别名 。3. NaN：对于其他 NaN ，如除以零的结果。读
compression（无）保存到文件时要使用的压缩编解码器。缩写名称不区分大小写（none，bzip2，gzip，lz4，snappy和deflate）。写
ignoreNullFields（配置值）spark.sql.jsonGenerator.ignoreNullFields生成 JSON 对象时是否忽略 null 字段。写

get_json_object(json_txt, path)

描述

从 json 文本 json_txt中基于 路径 path 抽取出一个 JSON 对象。

实践

SELECT get_json_object('{"a":"b"}', '$.a');
+-------------------------------+
|get_json_object({"a":"b"}, $.a)|
+-------------------------------+
|                              b|
+-------------------------------+

path 语法

使用$表示json变量标识，用 . 或 [] 读取对象或数组

get 单层值
spark-sql> SELECT  get_json_object('{
 "store":
        {
         "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],  
         "bicycle":{"price":19.95,"color":"red"}
         }, 
 "email":"amy@only_for_json_udf_test.net", 
 "owner":"amy" 
}', '$.owner');

amy
get 多层值
spark-sql> SELECT  get_json_object('{
 "store":
        {
         "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],  
         "bicycle":{"price":19.95,"color":"red"}
         }, 
 "email":"amy@only_for_json_udf_test.net", 
 "owner":"amy" 
}', '$.store.bicycle.price');

19.95
get 数组值
spark-sql> SELECT  get_json_object('{
 "store":
        {
         "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],  
         "bicycle":{"price":19.95,"color":"red"}
         }, 
 "email":"amy@only_for_json_udf_test.net", 
 "owner":"amy" 
}', '$.store.fruit[0]');

{"weight":8,"type":"apple"}

json_array_length(jsonArray)

描述

返回最外层的 JSON 数组jsonArray中元素的数量。

实践

SELECT json_array_length('[1,2,3,4]');
+----------------------------+
|json_array_length([1,2,3,4])|
+----------------------------+
|                           4|
+----------------------------+

SELECT json_array_length('[1,2,3,{"f1":1,"f2":[5,6]},4]');
+------------------------------------------------+
|json_array_length([1,2,3,{"f1":1,"f2":[5,6]},4])|
+------------------------------------------------+
|                                               5|
+------------------------------------------------+

SELECT json_array_length('[1,2');
+-----------------------+
|json_array_length([1,2)|
+-----------------------+
|                   null|
+-----------------------+

json_object_keys(json_object)

描述

返回最外层 JSON 对象 json_object 的所有 keys 组成的数组。

实践

ELECT json_object_keys('{}');
+--------------------+
|json_object_keys({})|
+--------------------+
|                  []|
+--------------------+

SELECT json_object_keys('{"key": "value"}');
+----------------------------------+
|json_object_keys({"key": "value"})|
+----------------------------------+
|                             [key]|
+----------------------------------+

SELECT json_object_keys('{"f1":"abc","f2":{"f3":"a", "f4":"b"}}');
+--------------------------------------------------------+
|json_object_keys({"f1":"abc","f2":{"f3":"a", "f4":"b"}})|
+--------------------------------------------------------+
|                                                [f1, f2]|
+--------------------------------------------------------+

json_tuple(jsonStr, p1, p2, …, pn)

描述

  • 返回一个类似函数 get_json_object 的元组。
  • 这个元组可以有多个名称。
  • 所有的输入参数和输出字段类型都是 String 类型。

实践

SELECT json_tuple('{"a":1, "b":2}', 'a', 'b');
+---+---+
| c0| c1|
+---+---+
|  1|  2|
+---+---+

schema_of_json(json[, options])

描述

以 DDL 的形式返回 JSON 字符串 json 的 schema 形式。

实践

SELECT schema_of_json('[{"col":0}]');
+----------------------------+
|schema_of_json([{"col":0}])|
+----------------------------+
|ARRAY<STRUCT<`col`: BIGINT>>|
+----------------------------+

SELECT schema_of_json('[{"col":01}]', map('allowNumericLeadingZeros', 'true'));
+----------------------------+
|schema_of_json([{"col":01}])|
+----------------------------+
|ARRAY<STRUCT<`col`: BIGINT>>|
+----------------------------+

to_json(expr[, options])

描述

通过给定的结构体返回一个 JSON 字符串。

实践

SELECT to_json(named_struct('a', 1, 'b', 2));
+---------------------------------+
|to_json(named_struct(a, 1, b, 2))|
+---------------------------------+
|                    {"a":1,"b":2}|
+---------------------------------+

SELECT to_json(named_struct('time', to_timestamp('2015-08-26', 'yyyy-MM-dd')), map('timestampFormat', 'dd/MM/yyyy'));
+-----------------------------------------------------------------+
|to_json(named_struct(time, to_timestamp(2015-08-26, yyyy-MM-dd)))|
+-----------------------------------------------------------------+
|                             				 {"time":"26/08/2015"}|
+-----------------------------------------------------------------+

SELECT to_json(array(named_struct('a', 1, 'b', 2)));
+----------------------------------------+
|to_json(array(named_struct(a, 1, b, 2)))|
+----------------------------------------+
|                         [{"a":1,"b":2}]|
+----------------------------------------+

SELECT to_json(map('a', named_struct('b', 1)));
+-----------------------------------+
|to_json(map(a, named_struct(b, 1)))|
+-----------------------------------+
|                      {"a":{"b":1}}|
+-----------------------------------+

SELECT to_json(map(named_struct('a', 1),named_struct('b', 2)));
+----------------------------------------------------+
|to_json(map(named_struct(a, 1), named_struct(b, 2)))|
+----------------------------------------------------+
|                                     {"[1]":{"b":2}}|
+----------------------------------------------------+

SELECT to_json(map('a', 1));
+------------------+
|to_json(map(a, 1))|
+------------------+
|           {"a":1}|
+------------------+

SELECT to_json(array((map('a', 1))));
+-------------------------+
|to_json(array(map(a, 1)))|
+-------------------------+
|                [{"a":1}]|
+-------------------------+
Shockang
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
Spark SQL操作JSON字段的小技巧
09-09
主要给大家介绍了关于Spark SQL操作JSON字段的小技巧，文中通过示例代码介绍的非常详细，对大家学习或者使用spark sql具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
Spark SQL Json 解析函数
修破立生
02-18 1257
Spark SQL Json 解析函数 get_json_object
SparkSQL专题1 ~ 造数
xiaozhegaa的博客
08-02 479
普通一行数据 select '20210730' as date_time, 10086 as merchandise_no, 1008611 as mer_item_no, 'barcode10086' as barcode , 'osn10086' as osn, 'goods_no10086' as goods_no, 'first_dep_of_owner10086' as first_dep_of_owner, 1 as first_dep_of_owner_id , 'sec_dep_of_ow
spark-sql处理json字符串的常用函数
Du939的博客
11-01 6245
spark-sql处理json字符串的几个常用函数
SparkSQL中的JSON内置函数全解析
最新发布
一个7年大数据开发工程师的碎碎念
08-02 611
SparkSQL JSON函数全攻略：解锁大数据JSON处理的秘密！本文深入剖析get_json_object、json_tuple等核心函数，揭示性能优化技巧，如Parquet格式应用和分区策略。通过电商用户行为分析实例，展示如何处理复杂嵌套JSON，计算关键业务指标。从基础到高级，助你掌握JSON数据处理全流程。无论是日志分析、用户行为跟踪还是IoT数据处理，这篇指南都能让你在大数据分析中游刃有余。#SparkSQL #JSON处理 #大数据分析 #性能优化 #用户行为分析
spark-3.2.0-bin-hadoop3.2.tgz
01-04
Spark 3.2.0是Spark的一个重要版本，它在前一版本的基础上进行了多方面的优化和改进，旨在提供更好的性能和更多的功能。这个压缩包"spark-3.2.0-bin-hadoop3.2.tgz"包含了Spark 3.2.0版本的二进制文件，以及针对...
spark-3.2.0-bin-hadoop3-without-hive
04-24
总结来说，“spark-3.2.0-bin-hadoop3-without-hive”是一个专注于 Spark 与 Hadoop 3 基础集成的版本，它提供了最新的 Spark 特性，如优化的 SQL 引擎和 DataFrame API，同时也兼容 Hadoop 3 的诸多改进。...
spark-3.2.0-bin-without-hadoop.tgz
06-14
Spark 3.2.0还引入了一些优化和改进，比如增强SQL性能、改进DataFrame/Dataset API、优化内存管理、提升流处理效率等。此外，对于Python开发者，Pandas UDFs的性能得到了显著提升，使得在PySpark中使用Pandas接口...
适配CDH6.3.2的Spark3.2.2
08-16
2. **SQL增强**：Spark SQL支持更多的SQL标准，包括窗口函数、CUBE和ROLLUP聚合、新的数据类型（如JSON和UUID）以及改进的JOIN策略。此外，性能也得到了优化，例如，通过改进的代码生成和查询优化。 3. **PySpark...
json function
weixin_30800987的博客
07-25 349
//保存商品属性 function Attributesnext() { //循环获取属性集值和属性文本框值后保存到数据库的Json var attributesInfo = "["; var data = $("#hideattributesInfo").val(); ...
JSONFunction 源码
kanwoerzi
11-15 139
/* * Copyright 2002-2009 the original author or authors. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * Y...
SparkSQL技巧-json数据操作
ifeng
09-26 1026
SparkSQL 复杂 json 操作
Spark 之 内置函数 JSON
weixin_36630761的博客
08-11 2041
转自：http://blog.csdn.net/yizishou/article/details/52398665 需求   将DataFrame中的StructType类型字段下的所有内容转换为Json字符串。 Spark版本: 1.6.1     思路   DataFrame有toJSON方法，可将每个Row都转为一个J
9.16. JSON Functions and Operators
在路上
01-15 151
9.16 JSON函数和操作符 本节主要内容： 用于创建和处理JSON数据的函数和操作符； SQL/JSON语言； 有关SQL/JSON标准的更多信息，请参见[sqltr-19075-6]。更多有关PostgreSQL中JSON类型信息，请参见第8.14节。 ...
Spark大数据处理讲课笔记4.4 Spark SQL数据源 - JSON数据集
ting_tu_ran_de的博客
06-09 374
创建用户数组：执行命令：val userarr = Array("{'name': 'Mike', 'age': 18}", "{'name': 'Alice', 'age': 30}", "{'name': 'Brown', 'age': 38}")将用户数据集转成用户数据帧，执行命令：val userdf = spark.read.json(userds.rdd)（注意要将数据集转成RDD才能作为json()方法的参数）（三）利用json()方法将数据集转成数据帧。// 将用户数据集转成用户数据帧。
Spark高级操作之json复杂和嵌套数据结构的操作
weixin_49165958的博客
11-19 697
一，基本介绍 本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数，帮助解决复杂嵌套的json数据格式，比如，map和嵌套结构。Spark2.1在spark 的Structured Streaming也可以使用这些功能函数。 下面几个是本文重点要讲的方法。 A),get_json_object() B),from_json() C),to_json() D),explode() E),selectExpr() 二，准备阶段 首先，创建一个没有任何嵌套的JSon Schema import
spark操作json数据
盛源的博客
08-09 9781
一、转换到JSON格式2. spark-sql转json串1. 把某些列封装到json串2. 把所有列封装到json串二、 特殊字符1. key中含有特殊字符三、数组操作四、 spark读取json文件1. dataframe指定schema读取。
spark 处理json文件时几种常用函数
2302_77073920的博客
07-17 366
spark 处理json的常用函数
spark3.2.0 graphframes是0.6可以吗
07-16
可以的。Spark 3.2.0 是 Apache Spark 的一个版本，而 GraphFrames 0.6 是一个与 Spark 配套使用的图处理库。你可以在 Spark 3.2.0 中使用 GraphFrames 0.6 来进行图数据处理和分析。请确保你按照正确的方式将 GraphFrames 0.6 添加到你的 Spark 3.2.0 项目中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值