Spark Structured Streaming窗口聚合和非窗口聚合

Spark Structured Streaming窗口聚合和非窗口聚合

前面我们介绍了Spark Structured Streaming 的 Window和Watermark，还介绍了双流关联，在这个过程中一直提到了一个概念叫做状态，很多人后台私信说表示不是很理解，这个状态是什么，今天我们这里借助窗口聚合和非窗口聚合来说明一下这个问题，例子还是之前的WordCount 的例子

非窗口聚合

我们首先看一下非窗口聚合

非窗口聚合（Non-Window Aggregation）是指对整个数据集进行聚合操作，而不考虑时间窗口。常见的聚合操作包括求和、平均值、最大值、最小值等。非窗口聚合通常用于批处理，适用于静态数据集的分析。

特点：

1. 全局计算：对整个数据集进行聚合，不考虑时间维度。
2. 批处理：适用于静态数据集的批量处理和分析。
3. 简单聚合：支持基本的聚合操作，如求和、平均值等

代码就贴在下面了，不解释了

import org.apache.spark.sql.DataFrame

// 设置需要监听的本机地址与端口号
val host: String = "127.0.0.1"
val port: String = "9999"

// 从监听地址创建DataFrame
var df: DataFrame = spark.readStream
  .format