Spark Structured Streaming EventTime下Watermark生成与Window触发

最新推荐文章于 2024-08-06 14:25:51 发布
最新推荐文章于 2024-08-06 14:25:51 发布
阅读量1.8k 收藏 3
点赞数 1
分类专栏： Spark Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangpei1949/article/details/104738794
版权
Spark 同时被 2 个专栏收录
29 篇文章 3 订阅
订阅专栏
Spark
28 篇文章 12 订阅
订阅专栏

本文旨在弄清楚Spark Structured Streaming EventTime下Watermark生成与Window触发相关问题。

  1. 窗口起止时间。

  2. 水印的生成。

  3. 对迟到数据的处理。

  4. 窗口销毁的时机。

  5. Watermark与Update/Complete输出模式之间的关系。

测试数据

// 造的测试数据，如下:
// eventTime: 北京时间
 {"eventTime": "2016-01-01 10:02:00" ,"eventType": "browse/click"}

代码实现

package com.bigdata.structured.streaming.watermark

import java.sql.{Date, Timestamp}
import java.text.SimpleDateFormat
import java.time.{LocalDateTime, ZoneId}
import java.time.format.DateTimeFormatter
import java.util.TimeZone

import com.bigdata.structured.streaming.sink.FileSink
import org.apache.spark.sql.{SparkSession, functions}
import org.apache.spark.sql.functions.{col, count, from_json, lit, window}
import org.apache.spark.sql.streaming.Trigger
import org.apache.spark.sql.types.DataType
import org.slf4j.LoggerFactory

/**
  * Author: Wang Pei
  * Summary:
  *   EventTime下Watermark生成与Window触发
  */
object WaterMarkAndWindow {

  lazy val logger = LoggerFactory.getLogger(WaterMarkAndWindow.getClass)

  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder().master("local[3]").appName(this.getClass.getSimpleName.replace("$", "")).getOrCreate()
    import spark.implicits._

    // 注册UDF
    spark.udf.register("timezoneToTimestamp", timezoneToTimestamp _)
    spark.udf.register("timestampToTimezone", timestampToTimezone _)
    // 定义Kafka JSON Schema
    val jsonSchema ="""{"type":"struct","fields":[{"name":"eventTime","type":"string","nullable":true},{"name":"eventType","type":"string","nullable":true}]}"""

    // InputTable
    val inputTable = spark
      .readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
      .option("subscribe", "test_1")
      .load()

    // ResultTable
    val resultTable = inputTable
      .select(from_json(col("value").cast("string"), DataType.fromJson(jsonSchema)).as("value"))
      .select($"value.*")
      .withColumn("timestamp", functions.callUDF("timezoneToTimestamp", functions.col("eventTime"),lit("yyyy-MM-dd HH:mm:ss"),lit("GMT+8")))
      .filter($"timestamp".isNotNull && $"eventType".isNotNull)
      // 最多迟到10秒
      .withWatermark("timestamp", "10 seconds")
      // 窗口30秒
      .groupBy(window($"timestamp", "30 seconds"), $"eventType")
      .agg(count(lit(1)).as("browsePV"))
      .withColumn("windowStart", functions.callUDF("timestampToTimezone", $"window.start", lit("yyyy-MM-dd HH:mm:ss"), lit("GMT+8")))
      .withColumn("windowEnd", functions.callUDF("timestampToTimezone", $"window.end", lit("yyyy-MM-dd HH:mm:ss"), lit("GMT+8")))
      .select($"windowStart", $"windowEnd", $"eventType", $"pv")

    // Query Start
    val query = resultTable
      .writeStream
      .format("console")
      .option("truncate", "false")
      .outputMode("complete")
      .trigger(Trigger.ProcessingTime("2 seconds"))
      .start()

    query.awaitTermination()

  }

  /**
    * 带时区的时间转换为Timestamp
    *
    * @param dateTime
    * @param dataTimeFormat
    * @param dataTimeZone
    * @return
    */
  def timezoneToTimestamp(dateTime: String, dataTimeFormat: String, dataTimeZone: String): Timestamp = {
    var output: Timestamp = null
    try {
      if (dateTime != null) {
        val format = DateTimeFormatter.ofPattern(dataTimeFormat)
        val eventTime = LocalDateTime.parse(dateTime, format).atZone(ZoneId.of(dataTimeZone));
        output = new Timestamp(eventTime.toInstant.toEpochMilli)
      }
    } catch {
      case ex: Exception => logger.error("时间转换异常..." + dateTime, ex)
    }
    output
  }

  /**
    * Timestamp转指定时区时间
    *
    * @param timestamp
    * @param targetFormat
    * @param targetZoneOffset
    * @return
    */
  def timestampToTimezone(timestamp: Timestamp, targetFormat: String, targetZoneOffset: String): String = {
    val date = new Date(timestamp.getTime)
    val simpleDateFormat = new SimpleDateFormat(targetFormat)
    simpleDateFormat.setTimeZone(TimeZone.getTimeZone(targetZoneOffset))
    simpleDateFormat.format(date)
  }

}

调式验证

序号RecordEventTimeEventTime 对应的 WatermarkEventTime 对应的Window起止时间触发Window聚合输出
1{“eventTime”: “2016-01-01 10:02:00”, “eventType”: “browse”}2016-01-01 10:02:002016-01-01 10:01:50[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 1
2{“eventTime”: “2016-01-01 10:02:05”, “eventType”: “browse”}2016-01-01 10:02:052016-01-01 10:01:55[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 2
3{“eventTime”: “2016-01-01 10:02:10”, “eventType”: “browse”}2016-01-01 10:02:102016-01-01 10:02:00[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 3
4{“eventTime”: “2016-01-01 10:02:15”, “eventType”: “browse”}2016-01-01 10:02:152016-01-01 10:02:05[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 4
5{“eventTime”: “2016-01-01 10:02:20”, “eventType”: “browse”}2016-01-01 10:02:202016-01-01 10:02:10[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 5
6{“eventTime”: “2016-01-01 10:02:25”, “eventType”: “browse”}2016-01-01 10:02:252016-01-01 10:02:15[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 6
7{“eventTime”: “2016-01-01 10:02:29”, “eventType”: “browse”}2016-01-01 10:02:292016-01-01 10:02:19[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 7
8{“eventTime”: “2016-01-01 10:02:30”, “eventType”: “click”}2016-01-01 10:02:302016-01-01 10:02:20[2016-01-01 10:02:30, 2016-01-01 10:03:00)触发click: 1
9{“eventTime”: “2016-01-01 10:02:25”, “eventType”: “browse”}2016-01-01 10:02:252016-01-01 10:02:20[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 8
10{“eventTime”: “2016-01-01 10:02:35”, “eventType”: “click”}2016-01-01 10:02:352016-01-01 10:02:25[2016-01-01 10:02:30, 2016-01-01 10:03:00)触发click: 2
11{“eventTime”: “2016-01-01 10:02:20”, “eventType”: “browse”}2016-01-01 10:02:202016-01-01 10:02:25[2016-01-01 10:02:00, 2016-01-01 10:02:30)触发browse: 9
12{“eventTime”: “2016-01-01 10:02:40”, “eventType”: “click”}2016-01-01 10:02:402016-01-01 10:02:30[2016-01-01 10:02:30, 2016-01-01 10:03:00)触发click: 3
13{“eventTime”: “2016-01-01 10:02:25”, “eventType”: “browse”}2016-01-01 10:02:252016-01-01 10:02:30[2016-01-01 10:02:00, 2016-01-01 10:02:30)不触发browse: 9
14{“eventTime”: “2016-01-01 10:02:29”, “eventType”: “browse”}2016-01-01 10:02:292016-01-01 10:02:30[2016-01-01 10:02:00, 2016-01-01 10:02:30)不触发browse: 9
15{“eventTime”: “2016-01-01 10:02:45”, “eventType”: “click”}2016-01-01 10:02:452016-01-01 10:02:35[2016-01-01 10:02:30, 2016-01-01 10:03:00)触发click: 4

重点说明

  1. 窗口长度30秒，最大迟到10秒。

  2. 以上验证是在Update输出模式下。

  3. Watermark实际上是Timestamp类型，格式如:2016-01-01T02:02:00.000Z，这里为方便对齐比较，将Watermark加了8小时。

  4. 当输入记录9时，EventTime: 2016-01-01 10:02:25, Watermark: 2016-01-01 10:02:20。Watermark<窗口W: [2016-01-01 10:02:00, 2016-01-01 10:02:30)的结束时间，触发该窗口W聚合。

  5. 当输入记录11时，EventTime: 2016-01-01 10:02:20,Watermark: 2016-01-01 10:02:25。Watermark<窗口W: [2016-01-01 10:02:00, 2016-01-01 10:02:30)的结束时间，触发该窗口W聚合。

  6. 当输入记录12时，EventTime: 2016-01-01 10:02:40, Watermark: 2016-01-01 10:02:30。Watermark>=窗口W: [2016-01-01 10:02:00, 2016-01-01 10:02:30)的结束时间,销毁该窗口W(或清除该窗口的状态)。

  7. 当输入记录13时，EventTime: 2016-01-01 10:02:25, Watermark: 2016-01-01 10:02:30。该事件对应的窗口W: [2016-01-01 10:02:00, 2016-01-01 10:02:30)已销毁，不再触发窗口W的聚合。该事件被丢弃。

  8. 当输入记录14时，EventTime: 2016-01-01 10:02:29, Watermark: 2016-01-01 10:02:30。该事件对应的窗口W: [2016-01-01 10:02:00, 2016-01-01 10:02:30)已销毁，不再触发窗口W的聚合。该事件被丢弃。

总结

  1. 窗口起止时间: 前闭后开的自然时间。

    举例: 30s一个窗口，窗口间隔为[00:00:00, 00:00:30)、[00:00:30, 00:01:00)、[00:01:00, 00:01:30) … 以此类推。

  2. Watermark计算逻辑：Structured Streaming Engine看到的最大EventTime - 迟到阈值(delayThreshold)。

  3. 窗口销毁的时机: Watermark >= Window End Time。如: 当Watermark: 2016-01-01 10:02:30大于等于窗口W: [2016-01-01 10:02:00, 2016-01-01 10:02:30)的结束时间时，销毁该窗口W。换句话，也可以这样讲，当Structured Streaming看到的最大EventTime-迟到阈值(delayThreshold)>=在时间T结束的特定窗口W，会清除该窗口W的状态。

  4. 在窗口销毁前，只要有数据进来，就会触发窗口聚合并输出。

  5. 在窗口销毁后，依然有迟到的数据，默认会被丢弃(这部分如能不能单独收集起来或单独处理，没有找到好的方式)。

  6. 在Complete输出模式下，不会删除旧的聚合状态，不论数据迟到多久，都会触发聚合并输出。

Spark(53) -- StructuredStreaming -- 事件时间窗口分析
erainm
10-16 1627
1. 时间概念 2. event-time 窗口分析 3. event-time 窗口生成 4. 延迟数据处理 4.1 延迟数据 4.2 Watermarking 水位 4.3 官方案例演示
19:Structured Streaming：Windows操作和WaterMarker-流处理引擎提供了哪些优秀机制
someInNeed的博客
01-28 2023
今天这一讲，咱们从功能的视角出发，继续来聊一聊 Structured Streaming 流处理引擎都为开发者都提供了哪些特性与能力，让你更灵活地设计并实现流处理应用。 Structured Streaming 怎样坐享其成？ 学习过计算模型之后，我们知道，不管是 Batch mode 的多个 Micro-batch、多个作业的执行方式，还是 Continuous mode 下的一个 Long running job，这些作业的执行计划，最终都会交付给 Spark SQL ...
「Spark-2.2.0」Structured Streaming - Watermarking操作详解
图特摩斯科技-博客
07-13 6676
很高兴spark-2.2.0于昨天发布，结构化流式处理在该版本中可用于生产环境。 Spark Streaming 中 Exactly Once 指的是： 每条数据从输入源传递到 Spark 应用程序 Exactly Once每条数据只会分到 Exactly Once batch 处理输出端文件系统保证幂等关系 streaming DataFrames/Datase
Spark Structured Steaming 聚合、watermark 以及 window操作，结合输出模式的研究总结
weixin_33672400的博客
05-08 1413
2019独角兽企业重金招聘Python工程师标准>>> ...
Apache Spark Structured Streaming and watermarks
遥望......
05-14 792
"watermark" should "discard late data and accept 1 late but within watermark with window aggregation" in {  val testKey = "watermark-window-test"  val inputStream = new MemoryStream[(Timestamp, String...
Spark定制班第29课：深入理解Spark 2.x中的Structured Streaming内幕
andyshar的博客
06-24 3499
本期内容： 1. 新型的Spark Streaming思维 2. Structured Streaming内幕 Spark 2.0 仍有bug，不适合于生成环境。只用于测试。 Spark 2.X提出了continuous application（连续的应用程序）的概念，非常重大。 如图例所示，数据通过Kafka流进来，经过ETL， SS把数据看成一张表。一张没有边际的表、
spark-sql time window使用
sanhongbo的博客
12-08 1367
spark sql time window 使用方式： window(t1.eventTime, “5 minute”, “1 minute”) 加在sql中通过grooup by 进行离线数据的开窗操作。
Spark StructStreaming Window和Watermark
最新发布
2401_84052244的博客
08-06 1384
Structured Streaming 支持两类窗口，一个是“不重不漏”的 Tumbling Window，另一个是“可重可漏”的 Sliding Window。二者并无高下之分，作为开发者，我们可以使用 window 函数，结合事件时间、窗口大小、窗口间隔等多个参数，来灵活地在两种窗口之间进行取舍。对于 Late data 的处理，Structured Streaming 使用 Watermark 机制来决定其是否参与过往窗口的计算与更新。
【spark床头书系列】Spark Structured Streaming 编程权威指南
wang2leee的博客
12-01 1346
Spark Structured Streaming 编程权威指南,看一篇就够了
Structured Streaming和flink的watermark
bottle123的专栏
10-18 665
Structured Streaming和flink都支持流式操作，支持对乱序数据的处理，都引入了watermark的概念，watermark都是系统能处理的乱序数据的最早的时间，但二者的具体表现也不尽相同。 1、Structured Streaming的watermark机制 (a+) 在对 event time 做 window() + groupBy().aggregation() ...
Spark Structured Streaming 概论
2401_84052244的博客
08-06 1153
对于 Source 与 Sink，你需要知道，在 Structured Streaming 框架下，Spark 都能提供哪些具体的支持。以 Source 为例，Spark 支持 Socket、File 和 Kafka，而对于 Sink，Spark 支持 Console、File、Kafka 和 Foreach(Batch)。对于结果的输出，我们需要了解，在不同的场景下，Structured Streaming 支持不同的输出模式。
Spark Structured Streaming使用教程
penngo的专栏
12-07 1495
Structured Streaming是一个基于Spark SQL引擎的可扩展和容错流处理引擎，Spark SQL引擎将负责增量和连续地运行它，并在流数据继续到达时更新最终结果。
sparkStreaming算子之window
墨殇
07-11 471
窗口算子，说白了就是每隔多长（S）时间，统计过去多长时间(W)内产生的数据。 Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成的RDD，会作为window DStream的一个RDD。比如下图中，就是对每三秒钟的数据执行一次滑动窗口计算，这3秒内的3个RDD会被聚合起来进行...
window与watermark理解
ZERO
01-26 1415
转载自：https://blog.csdn.net/lmalds/article/details/52704170     https://blog.csdn.net/sxiaobei/article/details/81147723     https://blog.csdn.net/xiao_jun_0820/article/details/79786517   实时计算中，对数据时间比较敏感...
依据flink 和spark streaming的异同点衍生
weixin_52542476的博客
05-30 367
依据flink 和spark streaming的异同点衍生
Spark2.3（三十四）：Spark Structured Streaming之withWaterMark和windows窗口是否可以实现最近一小时统计...
weixin_33877885的博客
12-02 628
WaterMark除了可以限定来迟数据范围，是否可以实现最近一小时统计？ WaterMark目的用来限定参数计算数据的范围：比如当前计算数据内max timestamp是12::00，waterMark限定数据分为是60 minutes，那么如果此时输入11:00之前的数据就会被舍弃不参与统计，视为来迟范围超出了60minutes限定范围。 那么，是否可以借助它实现最近一小时的数据统计呢？ ...
Spark2.0 Structured Streaming
热门推荐
dongyunlon的专栏
08-07 1万+
Spark2.0新特性，DataFrame和DataSet进行了整合，极大的优化了SparkSQL引擎的运行速度，在此基础上，将Spark Streaming和Spark SQL进行了整合，增加了新的特性Structured Streaming，能够使用标准的SQL语句处理实时的数据流
Structured Streaming 实现思路与实现概述
gongpulin的博客
10-10 9301
Structured Streaming 实现思路与实现概述 [酷玩 Spark] Structured Streaming 源码解析系列 ，返回目录请 猛戳这里 「腾讯·广点通」技术团队荣誉出品 本文内容适用范围： * 2017.07.11 update, Spark 2.2 全系列 √ (已发布：2.2.0) * 2017.05.02 update, Spark 2.1 全系列
Spark结构式流编程指南
alice368517的博客
03-20 285
Spark结构式流编程指南 概览 Structured Streaming 是一个可拓展，容错的，基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，Spark SQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在Spark SQL上引擎上使用DataSet/DataFrame API处理流数据的聚集，事件窗口，和流与批次的连接操...
spark structured streaming trigger EventTime 的使用
05-25
Spark Structured Streaming 提供了多种触发器（Trigger）选项，用于控制查询的执行频率。其中，EventTime 触发器是一种基于事件时间的触发器，它可以在数据到达时触发查询。 使用 EventTime 触发器需要两个步骤： ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值