Spark Streaming的Event Time和WaterMark理解

最新推荐文章于 2023-05-30 21:26:50 发布
最新推荐文章于 2023-05-30 21:26:50 发布
阅读量5.6k 收藏 2
点赞数 1
分类专栏： -----Spark -----Streaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxhandlbb/article/details/80372852
版权

EventTime即事件真正生成的时间。

例如一个用户在10：06点击 了一个按钮。记录在系统中为10：06。

这条数据发送到Kafka，又到了Spark Streaming中处理，已经是10：08了。这个处理的时间就是process Time。


Water Mark即 这个时间点之前的数据都到达了。

例如现在是10:20 ,但是water Mark是 10：10 分，那么认为，10：10之前的数据都已经到达了。 


这个时候，再来一条10：06 的数据，则直接丢弃 了。

但如果来的是10：16的数据，则可以被正确处理。因为10：16 在water mark后面。

唐予之_
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark(53) -- StructuredStreaming -- 事件时间窗口分析
erainm
10-16 1520
1. 时间概念 2. event-time 窗口分析 3. event-time 窗口生成 4. 延迟数据处理 4.1 延迟数据 4.2 Watermarking 水位 4.3 官方案例演示
大数据教程---Hadoop/Spark的技术与实践
03-15
本课程系统介绍大数据技术家族中Hadoop与Spark的架构、编程与相关优化方法，相对于其它课程，本课程有如下特点：一是实战与架构介绍紧密结合，注意讲述实战技能同时，清晰讲解架构与原理，使学员知其然，知其所以然二是与应用实践结合紧密，各技术点都力求与实践场景结合，做到真正会用；同时内容全面，包括批量、实时、流计算、图计算及其结合等多种技术场景三讲解通俗易懂，形象贴切，同时又深入全面，透彻理解。通过本课程学习，学员可从初学者到能真正在工程实践中使用大数据技术解决问题
Spark Streaming中withWatermark的简单尝试
统木木的博客
12-21 1086
我们在处理流数据的时候，往往会有实时性要求。可是如果我们直接按照程序所在服务器的当前时间计算又不行，比如当上游日志数据延迟了，则所有的这部分数据都会被抛弃掉。所以一般我们在记录日志的时候，加上日志的时间戳。这样我们在进行流处理的时候，就可以把日志记录的时间拿出来，根据这个时间来决定流处理是不是要往下进行。而往往我们会以最早到达的日志作为时间参考点，如果下一个日志比这个时间点晚的太多，就可以抛弃掉。...
Spark Structured Steaming 聚合、watermark 以及 window操作，结合输出模式的研究总结
weixin_33672400的博客
05-08 1363
2019独角兽企业重金招聘Python工程师标准>>> ...
Apache Spark Structured Streaming and watermarks
遥望......
05-14 746
"watermark" should "discard late data and accept 1 late but within watermark with window aggregation" in {  val testKey = "watermark-window-test"  val inputStream = new MemoryStream[(Timestamp, String...
一文读懂 Spark 和 Spark Streaming
houbin0912的博客
07-23 638
前言 Apache Spark 是当今最流行的开源大数据处理框架。和人们耳熟能详的 MapReduce 一样，Spark 用于进行分布式、大规模的数据处理，但 Spark 作为 MapReduce 的接任者，提供了更高级的编程接口、更高的性能。除此之外，Spark 不仅能进行常规的批处理计算，还提供了流式计算支持。 Apache Spark 诞生于大名鼎鼎的 AMPLab（这里还诞生过 Mesos 和 Alluxio），从创立之初就带有浓厚的学术气质，其设计目标是为各种大数据处理需求提供一个统一的技术栈
深入理解SparkStreaming执行模型
02-26
SparkStreaming是Spark中最常用的组件之一，将会有越来越多的有流处理需求的用户踏上Spark的使用之路。本文描述了SparkStreaming的架构并解释如何去提供上述优势，以及一些目前进行的令大家感兴趣的相关后续工作。...
SparkStreaming容错的改进和零数据丢失
03-03
最开始，SparkStreaming就支持从driver和worker故障恢复的能力。本文谈及SparkStreaming容错的改进和零数据丢失的实现。本文来自Spark Streaming项目带头人 TathagataDas的博客文章，他现在就职于Databricks公司。...
spark Streaming和structed streaming分析
04-23
spark Streaming和structed streaming分析，理解整个 Spark Streaming 的模块划分和代码逻辑。
【计算引擎】SparkStreaming、StructuredStreaming、Flink、Storm 对比
孟知之的搬砖填坑历险记
04-04 1403
Spark Streaming Spark Streaming 是Spark Core 的扩展，可实现实时数据的快速扩展，高吞吐量，容错处理。数据可以从很多来源（如 Kafka、Flume、Kinesis 、HDFS、Twitter等）中提取，并且可以通过很多函数（能够和Spark Core、Spark SQL来进行混合编）来处理这些数据，处理完后的数据可以直接存入数据库或者 Dashboard...
「Spark-2.2.0」Structured Streaming - Watermarking操作详解
图特摩斯科技-博客
07-13 6547
很高兴spark-2.2.0于昨天发布，结构化流式处理在该版本中可用于生产环境。 Spark Streaming 中 Exactly Once 指的是： 每条数据从输入源传递到 Spark 应用程序 Exactly Once每条数据只会分到 Exactly Once batch 处理输出端文件系统保证幂等关系 streaming DataFrames/Datase
spark大数据分析:spark Struct Strreaming(22)基于Watermark处理延迟数据
张不帅
09-08 1156
文章目录作用基于update模式,实现wordCount,结合waterMark处理延迟数据基于Append模式 ,实现wordCount,结合waterMark处理延迟数据底层工作原理Watermark机制与输出模式 作用 在数据分析系统中,Struct Strreaming可以持续按照事件时间聚合数据,在此过程中并不能保证数据按照事件时间大小依次达到,在某一个时刻接受到数据远远落后之前批次已经处理过的事件时间,发生这种情况时,需要结合业务需要对延迟数据进行过滤 默认情况下,无论数据延迟多久,数据根据事件
Spark2.3文档翻阅的一点简略笔记(WaterMarking)
weixin_30468137的博客
06-03 82
写本文原因是之前已经将官网文档阅读过几遍，但是后来工作接触spark机会较少所以没有跟进新特性，利用周末一点闲暇时间粗略阅读一篇，将自己之前遇见过的问题解决过的问题印象不深刻的问题做一下记录。 1关于RDD缓存： Don’t spill to disk unless the functions that computed your datasets are expensive, or t...
（9）处理延迟的数据和watermark
qq_18522601的博客
07-19 654
基本概念 事件时间顾名思义就是嵌入在数据事件内部的时间。对很多应用程序来说，可能希望按照事件时间进行处理。例如，你想统计lot设备每分钟产生事件的个数，那么你肯定希望用数据产生的时间，而不是spark接收到数据的时间。可以做如下类比，每个设备中产生的数据就是表中的一行，然后事件时间就是该行里的一个列值。这时候就可以使用基于窗口的聚合函数基于事件时间列进行分组聚合，每个时间窗口就是一个组，每行可以属...
Spark Streaming 和 Flink 的对比以及详细描述，图文对比、代码
wyz0516071128的博客
08-07 1405
本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Streaming 与 Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。                                        一、编程模型对比    运行角色 Spark Streaming 运行时的角色（standalone 模式）...
Spark之SparkStreaming
acethan的博客
03-20 232
Spark Streaming的编程抽象是离散化流，也就是DStream。它是一个 RDD 序列，每个RDD代表数据流中一个时间片内的数据。 Spark Streaming为每个输入源启动对应的接收器。接收器运行在Executor中，从输入源收集数据并保存为 RDD 默认情况下接收到的数据后会复制到另一个Executor中，进行容错； Driver 中的 StreamingContext 会周期性地运行 Spark 作业来处理这些数据。 SparkStreaming 执行流程 client 提交Spar
依据flink 和spark streaming的异同点衍生
最新发布
weixin_52542476的博客
05-30 283
依据flink 和spark streaming的异同点衍生
不懂watermark？来吧～
大数据星球-浪尖
01-18 1094
经常有球友或者微信群友反馈自己搞不明白watermark怎么回事儿，所以今天浪尖准备发文详细说明一下。首先，拿基于窗口的计算来说吧，窗口的大小 size和滑动间隔 sli...
spark structured streaming trigger EventTime 的使用
05-25
Spark Structured Streaming 提供了多种触发器（Trigger）选项，用于控制查询的执行频率。其中，EventTime 触发器是一种基于事件时间的触发器，它可以在数据到达时触发查询。 使用 EventTime 触发器需要两个步骤： 1. 定义事件时间列：在读取流数据时，需要指定事件时间列，例如： ```scala val df = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", "host1:port1,host2:port2") .option("subscribe", "topic1") .option("startingOffsets", "earliest") .load() .selectExpr("CAST(value AS STRING)", "CAST(timestamp AS TIMESTAMP) as event_time") ``` 2. 设置触发器：使用 `trigger` 方法并传入 `org.apache.spark.sql.streaming.Trigger.EventTime` 参数即可启用事件时间触发器。例如： ```scala df.writeStream .outputMode("append") .format("console") .trigger(Trigger.EventTime("10 seconds")) .start() .awaitTermination() ``` 上面的代码设置了一个每 10 秒触发一次的事件时间触发器，并将结果输出到控制台。如果你希望触发器按照其他时间间隔触发，只需要修改字符串参数即可，例如将 "10 seconds" 修改为 "1 minute"。同时，你还可以通过设置 `lateWatermark` 和 `checkpointLocation` 等参数来优化事件时间触发器的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值