SparkSQL 操作 Json 格式数据

最新推荐文章于 2024-02-21 21:06:34 发布
最新推荐文章于 2024-02-21 21:06:34 发布
阅读量1w 收藏 6
点赞数
分类专栏： SparkSQL
从嵌套列中选择

Dots（.）可用于访问嵌套列的结构和映射。

// input
{
  "a": {
     "b": 1
  }
}

Python: events.select("a.b")
 Scala: events.select("a.b")
   SQL: select a.b from events

// output
{
  "b": 1
}
扁平结构

一个star（*）可以用来选择结构中的所有子字段。

// input
{
  "a": {
     "b": 1,
     "c": 2
  }
}

Python:  events.select("a.*")
 Scala:  events.select("a.*")
   SQL:  select a.* from events

// output
{
  "b": 1,
  "c": 2
}
嵌套列

SQL函数中的struct函数或只是括号可用于创建一个新的结构体。

// input
{
  "a": 1,
  "b": 2,
  "c": 3
}

Python: events.select(struct(col("a").alias("y")).alias("x"))
 Scala: events.select(struct('a as 'y) as 'x)
   SQL: select named_struct("y", a) as x from events

// output
{
  "x": {
    "y": 1
  }
}
嵌套所有列

star（*）也可用于将所有列包含在嵌套结构中。

// input
{
  "a": 1,
  "b": 2
}

Python: events.select(struct("*").alias("x"))
 Scala: events.select(struct("*") as 'x)
   SQL: select struct(*) as x from events

// output
{
  "x": {
    "a": 1,
    "b": 2
  }
}
选择单个阵列或地图元素

getItem()或方括号（即[ ]）可用于从数组或映射中选择单个元素。

// input
{
  "a": [1, 2]
}

Python: events.select(col("a").getItem(0).alias("x"))
 Scala: events.select('a.getItem(0) as 'x)
   SQL: select a[0] as x from events

// output
{ "x": 1 }
// input
{
  "a": {
    "b": 1
  }
}

Python: events.select(col("a").getItem("b").alias("x"))
 Scala: events.select('a.getItem("b") as 'x)
   SQL: select a['b'] as x from events

// output
{ "x": 1 }
为每个数组或地图元素创建一行

explode()可用于为数组或每个键值对中的每个元素创建一个新行。这与HiveQL中的LATERAL VIEW EXPLODE类似。

// input
{
  "a": [1, 2]
}

Python: events.select(explode("a").alias("x"))
 Scala: events.select(explode('a) as 'x)
   SQL: select explode(a) as x from events

// output
[{ "x": 1 }, { "x": 2 }]
// input
{
  "a": {
    "b": 1,
    "c": 2
  }
}

Python: events.select(explode("a").alias("x", "y"))
 Scala: events.select(explode('a) as Seq("x", "y"))
   SQL: select explode(a) as (x, y) from events

// output
[{ "x": "b", "y": 1 }, { "x": "c", "y": 2 }]
将多行收集到数组中

collect_list()和collect_set()可用于聚集物品进入阵列。

// input
[{ "x": 1 }, { "x": 2 }]

Python: events.select(collect_list("x").alias("x"))
 Scala: events.select(collect_list('x) as 'x)
   SQL: select collect_list(x) as x from events

// output
{ "x": [1, 2] }
// input
[{ "x": 1, "y": "a" }, { "x": 2, "y": "b" }]

Python: events.groupBy("y").agg(collect_list("x").alias("x"))
 Scala: events.groupBy("y").agg(collect_list('x) as 'x)
   SQL: select y, collect_list(x) as x from events group by y

// output
[{ "y": "a", "x": [1]}, { "y": "b", "x": [2]}]
从数组中的每个项目中选择一个字段

当您在数组中使用点符号时，我们返回一个新数组，该数组已从每个数组元素中选择该字段。

// input
{
  "a": [
    {"b": 1},
    {"b": 2}
  ]
}

Python: events.select("a.b")
 Scala: events.select("a.b")
   SQL: select a.b from events

// output
{
  "b": [1, 2]
}

to_json（）和from_json（）的权力

如果您真的想保留列的复杂结构，但是您需要将其编码为字符串来存储？你注定了吗 当然不是！Spark SQL提供to_json()了将结构体编码为字符串并将from_json()结构检索为复杂类型的函数。使用JSON字符串作为列在读取或写入流媒体源（如Kafka）时非常有用。每个Kafka键值记录将被添加一些元数据，如摄入时间戳到Kafka，Kafka中的偏移量等。如果包含数据的“值”字段是JSON，您可以使用它from_json()来提取数据，丰富它，清理它，然后将其下游推送到卡夫卡再次或将其写入文件。

将结构编码为json

to_json()可以将结构体转换成JSON字符串。当您将数据写入Kafka时，当您想要将多个列重新编码为一个列时，此方法特别有用。此方法目前在SQL中不可用。

// input
{
  "a": {
    "b": 1
  }
}

Python: events.select(to_json("a").alias("c"))
 Scala: events.select(to_json('a) as 'c)

// output
{
  "c": "{\"b\":1}"
}
将json列解码为结构体

from_json()可用于将具有JSON数据的字符串列转换为结构体。那么你可以按照上述的方式平坦化结构体，使其具有单独的列。此方法目前在SQL中不可用。

// input
{
  "a": "{\"b\":1}"
}

Python: 
  schema = StructType().add("b", IntegerType())
  events.select(from_json("a", schema).alias("c"))
Scala:
  val schema = new StructType().add("b", IntegerType)
  events.select(from_json('a, schema) as 'c)

// output
{
  "c": {
    "b": 1
  }
}

有时您可能希望将JSON字符串的一部分仍保留为JSON，以避免模式中的复杂性过高。

// input
{
  "a": "{\"b\":{\"x\":1,\"y\":{\"z\":2}}}"
}

Python: 
  schema = StructType().add("b", StructType().add("x", IntegerType())
                              .add("y", StringType()))
  events.select(from_json("a", schema).alias("c"))
Scala:
  val schema = new StructType().add("b", new StructType().add("x", IntegerType)
    .add("y", StringType))
  events.select(from_json('a, schema) as 'c)

// output
{
  "c": {
    "b": {
      "x": 1,
      "y": "{\"z\":2}"
    }
  }
}
从包含JSON的列中解析一组字段

json_tuple() 可以使用JSON数据来提取字符串列中可用的字段。

// input
{
  "a": "{\"b\":1}"
}

Python: events.select(json_tuple("a", "b").alias("c"))
Scala:  events.select(json_tuple('a, "b") as 'c)
SQL:    select json_tuple(a, "b") as c from events

// output
{ "c": 1 }
spark 结构化流中的应用：
输入是一串json字符串在kafka = $"value", 
{ 下边为提取一个元素，和提取多个元素的方法 }
var streamingSelectDF = streamingInputDF.select(get_json_object(($"value").cast("string"), "$.zip").alias("zip"))

//: org.apache.spark.sql.DataFrame = [zip: string]
var streamingSelectDF = streamingInputDF.select(json_tuple(($"value").cast("string"), "$.zip", "$.isp"))//: org.apache.spark.sql.DataFrame = [c0: string, c1: string]

有时一个字符串列可能不是像JSON一样自我描述，但仍可能有一个格式正确的结构。例如，它可以是使用特定的Log4j格式生成的日志消息。Spark SQL可以轻松地为您构建这些字符串！

解析一个格式良好的字符串列

regexp_extract() 可用于使用正则表达式解析字符串。

// input
[{ "a": "x: 1" }, { "a": "y: 2" }]

Python: events.select(regexp_extract("a", "([a-z]):", 1).alias("c"))
Scala:  events.select(regexp_extract('a, "([a-z]):", 1) as 'c)
SQL:    select regexp_extract(a, "([a-z]):", 1) as c from events

// output
[{ "c": "x" }, { "c": "y" }]

这是很多变化！现在我们来看一下现实生活中的一些用例，把所有这些数据格式和数据处理能力都用到很好的用处。

利用这一切权力

在Databricks，我们从我们的服务收集日志，并在客户受到影响之前使用它们执行实时监控以检测问题。日志文件是非结构化文件，但它们是可解析的，因为它们具有明确定义的Log4j格式。我们运行日志收集器服务，将每个日志条目和关于JSON的条目（例如源）的附加元数据发送到Kinesis。这些JSON记录然后批量上传到S3作为文件。查询这些JSON日志以回答任何问题是乏味的：这些文件包含重复项，并且对于回答任何查询，即使它涉及单个列，整个JSON记录也许需要反序列化。

为了解决这个问题，我们运行一个读取这些JSON记录并对元数据执行重复数据删除的管道。现在我们留下原始的日志记录，可能是JSON格式或非结构化文本。如果我们正在处理JSON，我们使用from_json()上面描述的几个转换来格式化数据。如果是文本，我们使用诸如regexp_extract()将Log4j格式解析成更结构化的方法。一旦完成了我们所有的变革和重组，我们将记录按日期保存在Parquet中。当我们回答“我们在10：00-10：30这个特定的服务之间看到多少错误信息”这样的问题时，这给我们10-100倍的加速？加速可归因于：

  • 我们不再支付反序列化JSON记录的价格
  • 我们不必对原始日志消息执行复杂的字符串比较
  • 我们只需要在我们的查询中提取两列：时间和日志级别

以下是我们在客户中看到的一些更常见的用例：

“我想用我的数据运行机器学习管道。我的数据已经被预处理，我将使用我所有的功能。

当您访问整行数据时，Avro是一个不错的选择。

“我有一个IoT用例，我的传感器给我发送事件。对于每个事件，重要的元数据是不同的。“

如果您希望在架构中具有灵活性，则可以考虑使用JSON来存储数据。

“我想在报纸文章或情感分析上对产品评论进行语音识别算法。”

如果您的数据可能没有固定的模式，也没有固定的模式/结构，那么将其存储为纯文本文件可能会更容易。您还可以拥有一个管道，可对此非结构化数据执行特征提取，并将其存储为Avro，以准备您的机器学习流程。

结论

在这篇博文中，我们讨论了Spark SQL如何允许您从许多来源和格式中使用数据，并轻松执行这些数据格式之间的转换和交换。我们分享了我们如何在Databricks处理我们的数据，并考虑了其他生产用例，您可能想要做不同的事情。

Spark SQL为您提供必要的工具，以便以任何形式访问您的数据，无论其格式如何，并为下游应用程序做准备，无论是在流数据上具有低延迟，还是对旧数据进行高吞吐量！

在本系列的未来博客文章中，我们将介绍以下内容：

  • 监控流媒体应用程序
  • 将结构化流与Apache Kafka集成
  • 使用结构化流计算事件时间聚合

如果您想了解有关结构化流的更多信息，以下是一些有用的链接。

最后，尝试我们的示例笔记本，演示如何在Databricks中的Python，Scala或SQL中转换复杂数据类型：


图特摩斯科技
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
json数据格式常见操作示例
10-16
主要介绍了json数据格式常见操作,结合实例形式json对象、json数组表示方式及遍历技巧,需要的朋友可以参考下
mysql json格式数据查询操作
01-19
预设表名是 base_data , json列名是 json_value json_value的值是 {“ids”:[“a”,“b”],“datas”:[{“name”:“张三”}]} 那么查询语句应该是 select * from base_data where JSON_CONTAINS(json_value -> “$.ids”, JSON_ARRAY(‘a’)); 或者 select * from base_data where JSON_CONTAINS(json_value -> “$.ids[*]”, JSON_ARRAY(‘a’)); 两种都行，具体什么区别暂时还不
SparkSQL 读取JSON格式的数据
最新发布
hxhxhzjz的博客
02-21 390
由于JSON文件本身是具备结构的，因此在进行读取的时候，会做字段和字段类型的推断。
C++使用JsonCpp库操作json格式数据示例
08-30
主要介绍了C++使用JsonCpp库操作json格式数据,结合实例形式详细分析了JsonCpp库的下载及C++使用JsonCpp库对json格式数据序列化相关操作技巧,需要的朋友可以参考下
php操作JSON格式数据的实现代码
12-18
知识点： 1、JSON数据格式介绍 2、对数据编码成JSON格式 3、对JSON数据进行解码，并操作 JSON数据格式表示方式如下： 复制代码 代码如下: { “programmers”: [ 　　{ “firstName”: “Brett”, “lastName”:”McLaughlin”, “email”: “aaaa” }, 　　{ “firstName”: “Jason”, “lastName”:”Hunter”, “email”: “bbbb” }, 　　{ “firstName”: “Elliotte”, “lastName”:”Harold”, “email”: “cccc” }
测试数据json格式
05-25
要素合集创建要素图层的方式，需要用到json格式的要素，为了方便本地测试，我们可以把geojson和shp格式的要素转换为json格式。
【Python笔记】Sparksql from_json
西瓜太郎
08-22 1653
I am trying to use from_json() to convert the JSON to a DataFrame. import org.apache.spark.sql.functions._ val schemaExample2 = new StructType() .add("", ArrayType(new StructType()
SparkSql to_json 存储转义问题
GQB1226的专栏
09-07 1330
spark sql在将某个json字段存储时候转义问题
spark sql 生成 json
shengjk1的博客
06-21 1256
背景想通过 spark sql 查询 hive 表然后将相应的字段组装成 sql，类似于 json_object ，不过可惜的是 spark 3.1.x 并没有 json_object 函数，不过还好spark sql 有 to_json 函数例子： 结果，可以保留数据原类型。这是最重要的一个点，组装 json，得保留原字段的数据类型.........
Spark SQL中将 DataFrame 转为 json 格式
ChengYanan的博客
10-21 2066
今天主要介绍一下如何将 Spark dataframe 的数据转成 json 数据。用到的是 scala 提供的 json 处理的 api。 用过 Spark SQL 应该知道，Spark dataframe 本身有提供一个 api 可以供我们将数据转成一个 JsonArray，我们可以在 spark-shell 里头举个栗子来看一下。 def main(args: Array[String]):...
Spark SQL数据源：JSON数据集
梁辰兴的博客
06-14 2438
Spark SQL可以自动推断JSON文件的Schema，并将其加载为DataFrame。在加载和写入JSON文件时，除了可以使用load()方法和save()方法外，还可以直接使用Spark SQL内置的json()方法。该方法不仅可以读写JSON文件，还可以将Dataset[String]类型的数据集转为DataFrame。需要注意的是，要想成功地将一个JSON文件加载为DataFrame，JSON文件的每一行必须包含一个独立有效的JSON对象，而不能将一个JSON对象分散在多行。
Spark操作 对json复杂和嵌套数据结构的操作
weixin_53898747的博客
04-13 619
从Json取值-----get_json_object，to_json()将获取的数据转化为json格式，对嵌套结构的处理（样例类和炸裂函数使用来解决）。
PySpark sql 中一些函数的总结（持续更新）
Matrix_cc的博客
01-29 1166
spark sql 常见的函数
SparkSQL数据源操作
shirukai
12-22 760
SparkSQL数据源操作 版本说明： spark-2.3.0 SparkSQL支持很多数据源，我们可以使用Spark内置的数据源，目前Spark支持的数据源有：json，parquet，jdbc，orc，libsvm，csv，text。也可以指定自定义的数据源，只需要在读取数据源的时候，指定数据源的全名。在https://spark-packages.org/这个网站，我们可以获取到更多的第...
sparksql处理嵌套json
Jacy_Wang的博客
04-03 2171
一，基本介绍 本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数，帮助解决复杂嵌套的json数据格式，比如，map和嵌套结构。Spark2.1在spark 的Structured Streaming也可以使用这些功能函数。 下面几个是本文重点要讲的方法。 A),get_json_object() B),from_json() C),to_json() D),explode()...
SparkSql常用命令操作
BUPT-WT的博客
11-30 4310
1、进入spark-shell模式         spark-shell --master yarn --executor-memory 4g --num-executors 3 --executor-cores 4 2、spark sql查询Hive数据库         import spark.sql         sql("use database_name”)       ...
spark sql解析json文件的数组
busy_programmer的博客
02-23 1539
1.现有Json数据是这样的。 {“2B:3E:5Y”,“devicestatus”[{ “Time”: “2020-01-20 13:41:23”, “runningTime”: 2563354, “cpuUsage”: 2, “memUsage”: 51 }], 这个文件是没有表头的,是一个Json格式的,我想用spark sql取给他解数组: 吧runningTime吧字符串转换为时间戳 ...
Spark SQL——JSON数据源
wangzhangni的博客
11-18 133
Spark SQL可以自动推断JSON文件的元数据，并且加载其数据，创建一个DataFrame。可以使用SQLContext.read.json()方法，针对一个元素类型为String的RDD，或者是一个JSON文件。 但是要注意的是，这里使用的JSON文件与传统意义上的JSON文件是不一样的。每行都必须，也只能包含一个，单独的，自包含的，有效的JSON对象。不能让一个JSON对象分散在多...
pyspark.sql函数 from_json(col, schema, options={})问题
qq_34669699的博客
03-06 407
字符串转换为map类型的数据
sparkSQL多数据源操作
05-12
Spark SQL支持多种数据源，包括Hive、JSON、Parquet、CSV、JDBC等。下面是一个使用多个数据源的示例： ```scala import org.apache.spark.sql.SparkSession object MultiDataSourceExample { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("MultiDataSourceExample") .master("local[*]") .getOrCreate() val hiveDF = spark.table("database.table") val jsonDF = spark.read.json("path/to/file.json") val parquetDF = spark.read.parquet("path/to/file.parquet") val csvDF = spark.read.format("csv").load("path/to/file.csv") val jdbcDF = spark.read.format("jdbc") .option("url", "jdbc:mysql://localhost:3306/test") .option("dbtable", "table") .option("user", "root") .option("password", "root") .load() // 多个数据源操作 val joinedDF = hiveDF.join(jsonDF, Seq("id")) .join(parquetDF, Seq("id")) .join(csvDF, Seq("id")) .join(jdbcDF, Seq("id")) joinedDF.show() spark.stop() } } ``` 在这个示例中，我们使用SparkSession的方法来读取Hive表、JSON文件、Parquet文件、CSV文件和JDBC数据源。然后我们将这些数据源连接起来进行操作。需要注意的是，每个数据源的Schema必须是一致的，这样才能进行连接操作。我们可以使用`join`方法来连接这些数据源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值