Flink中定时器的使用

已于 2024-01-25 20:23:08 修改
阅读量1.2k 收藏 11
点赞数 5
文章标签： flink 大数据
于 2024-01-25 20:16:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/roi666/article/details/135849206
版权
本文讲述了如何在Flink中使用处理时间和事件时间的定时器，包括在KeyedProcessFunction中的应用实例，以及定时器服务的方法和示例代码。
摘要由CSDN通过智能技术生成

定时器

让 Flink 流处理程序对处理时间和事件时间的变化作出反应。通常在KeyProcessFunction中使用。

基于处理时间或者事件时间处理过一个元素之后，注册一个定时器，然后在指定的时间运行。

最常见的显式利用Timer的地方就是KeyedProcessFunction。我们在其processElement()方法中注册Timer，然后覆写其onTimer()方法作为Timer触发时的回调逻辑。根据时间特征的不同：

  • 处理时间——调用Context.timerService().registerProcessingTimeTimer()注册；onTimer()在系统时间戳达到Timer设定的时间戳时触发。
  • 事件时间——调用Context.timerService().registerEventTimeTimer()注册；onTimer()在Flink内部水印达到或超过Timer设定的时间戳时触发。

Context和OnTimerContext所持有的TimerService对象拥有以下方法：

  • currentProcessingTime(): Long 返回当前处理时间
  • currentWatermark(): Long 返回当前watermark的时间戳
  • registerProcessingTimeTimer(timestamp: Long): Unit 会注册当前key的processing time的定时器。当processing time到达指定时间时，触发timer。
  • registerEventTimeTimer(timestamp: Long): Unit 会注册当前key的event time 定时器。当水位线大于等于定时器注册的时间时，触发定时器执
最低0.47元/天 解锁文章
阿萨红参
关注
Flink 定时器
默硕的博客
04-07 372
定时器具有容错能力，并且会与应用程序的状态一起进行 Checkpoint，如果发生故障重启会从 Checkpoint／Savepoint 中恢复定时器的状态。每次调用 processElement() 都可以获得一个 Context 对象，通过该对象可以访问元素的事件时间。如果是KeyedStream ，可以使用KeyedProcessFunction函数，它是ProcessFunction 的一个扩展。处理时间定时器原本是要在恢复起来的那个时间之前触发的，那么在恢复的那一刻会立即触发该定时器。
Flink源码解析系列--Timer定时器
打酱油的葫芦娃
03-26 8304
Timer（定时器）是 Flink Streaming API 提供的用于感知并利用 Processing Time/Event Time 变化的机制。Ververica blog上给出的描述如下： Timers are what make Flink streaming applications reactive and adaptable to processing and event time changes. 对于普通用户来说，最常见的显式利用 Timer 的地方就是 KeyedProcessF
flink定时器（Timer）
qq_42575907的博客
10-17 6101
定时器 默认的区分精度是毫秒。由于定时器只能在 KeyedStream 上使用，所以到了 KeyedProcessFunction 这里，我们 才真正对时间有了精细的控制，定时方法.onTimer()才真正派上了用场。所以我们会看到，程序运行后先在控制台输出“数据到达”的信息，等待 10 秒之后， 又会输出“定时器触发”的信息，打印出的时间间隔正是 10 秒。基于 KeyedStream 注册定时器时，会传入一个定时器触发的时间戳，这个时间戳的定时器对于每个 key 都是有效的。
flink之定时器（Timer）
m0_66520412的博客
01-20 1239
由于EventTime类型定时器是由Watermark,那么只要任务产生watermark就能正常触发恢复的定时任务，但是ProcessingTime类型的定时器是由系统注册的延时调度来触发，所以在重启的时候获取到队列中第一个元素来注册延时调度，保证其恢复之后的正常触发。flink为了保证定时触发操作(onTimer)与正常处理(processElement)操作的线程安全，做了同步处理，在调用触发时必须要获取到锁，也就是二者同时只能有一个执行，因此一定要保证onTimer处理的速度，以免任务发生阻塞。
Flink的定时器（EventTime和ProcessTime）
影子
03-12 7956
Flink定时器 1、Flink当中定时器Timer的基本用法 定时器Timer是Flink提供的用于感知并利用处理时间、事件事件变化的一种机制，通常在KeyedProcessFunction当中使用定时器Timer，具体步骤： 在processElement()方法当中注册Timer，然后通过重写onTimer()方法作为Timer定时器出发时的回调逻辑。 2、简述在Flink当中注册定时器Timer的俩种方法 方式1：通过调用 Context.timerService().registerProces.
flink的计时器
lixia0417mul2的博客
10-02 974
flink计时器
Flink Timer定时器机制与具体实现
weixin_38813363的博客
03-16 2563
Flink TimerTimer简介Timer使用举例Timer的特点Timers的原理分析 Timer简介 Timer定时器是Flink Streaming API提供的用于感知并利用处理时间/事件事件变化的机制 最显示了timer的方式就是KeyedProcessFunction.在其processElement()方法中注册Timer，然后覆盖其onTimer方法作为Timer触发时间的回调逻辑，根据时间特征的不同： 处理时间–调用context.timerService().registerPro
Flink原理：定时器
foureyes
09-01 5337
1. 用途 Flink定时器存在于窗口的触发，窗口状态的清理，TTL等诸多用途，因此搞清楚其原理对于理解这些知识点至关重要。 2. 示例 在flink实时处理中，涉及到延时处理可使用KeyedProcessFunction来完成，KeyedProcessFunction是flink提供面向用户的low level api，可以访问状态、当前的watermark或者当前的processingtime, 更重要的是提供了注册定时器的功能，分为： 注册处理时间定时器，直到系统的processingTime超过了
定时执行任务例子 绝对好用
08-13
Timer schedule JAVA J2EE WEB 指定每一天某时某分执行某项任务的功能。 读取目录下配置文件的内容。 开发环境jdk1.5.0_22、MyEclipse6.5中文版。 定时任务管理器，定时执行，定时任务，run 绝对能用
Flink的KeyedProcessFunction基于Event Time和Process Time的定时器用法实例分析
weixin_38251332的博客
01-18 728
KeyedProcessFunction是用来处理KeyedStream的。每有一个数据进入算子，则会触发一次processElement()的处理。它还提供了定时器的功能，在在预警、监控等场景特定场景下，非常适合。 KeyedProcessFunction定时器包分为两种：基于事件时间、基于处理时间。下面以统计计数的方式展示这两种定时器的用法，并附上详细的分析思路。
Flink 窗口触发器(Trigger)(一)
最新发布
王小工小工历程
07-03 1686
Flink的窗口触发器（Trigger）是流处理中一个非常关键的概念，它定义了窗口何时被触发并决定触发后的行为（如进行窗口数据的计算或清理）。
Flink-定时器原理实战项目Scala版（报警原理项目）
m0_67144365的博客
05-09 632
对于一些运行设备而言，设备的运行温度和状态很重要。如果一个设备长时间内处于高温的状态，就有可能是出现了安全性的问题，比如爆炸，温度过高性能消耗和设备衰耗高。因此我们考虑， 应该对设备的运行状态进行统计，具体来说，如果一个设备在我们设定的范围出现异常系统会输出报警
Flink 定时器的 4 个特性
SmartSi
09-05 348
定时器可以让 Flink 流处理程序对处理时间和事件时间的变化作出反应。我们之前的一篇文章比较详细地介绍了 Flink 中不同概念的时间以及说明了处理时间、事件时间以及摄入时间之间的差异。在使用定时器处理事件流，每次调用 processElement() 时，我们可以借助 Context 对象访问元素的事件时间戳和 TimerService。然后我们使用 TimerService 为将来的事件时间/处理时间实例注册回调。这样之后，一旦到达定时器的指定时刻，就会调用 onTimer() 方法。
Flink timer定时器使用
Johnson8702的博客
01-26 3977
窗口函数的问题 工作中使用到了窗口，进行阶段数据的统计。对于大部分场景是能够满足的，但是还是发现了一些问题。比如，窗口内有数据，却无法触发计算。此处以翻滚时间窗口，事件时间取处理时间为例进行说明，窗口触发的条件都是： ①water_mark时间 >= window_end_time； ② 窗口内有数据； 首先确定窗口内有数据，第②个条件满足。但是需要格外注意第①个条件，就是water_mark时间。water_mark时间的更新，需要后续有数据进来。如果后续没有数据进行，water_mark就.
Flink自定义触发器
weixin_43914798的博客
05-30 1767
Apache Flink是一个流处理框架，它提供了许多内置的触发器来控制流处理作业的执行。但是，有时候内置的触发器不能满足我们的需求，这时候我们就需要自定义触发器
flink onTimer定时器实现定时需求
热门推荐
第一片心意的博客
03-26 2万+
1.业务需求 接收实时数据流数据，实时更新状态，并且每隔一定的时间，将所有状态数据输出。 实时数据类型：("张", 1) 状态更新：第一个元素为key，将第二个元素全部缓存起来，放到list中，最后将key和其对应的list全部输出。 2. 实现方案 使用processFunction算子，在processElement函数中仅注册一次定时器，然后在onTimer函数中处理定时器任务，...
Flink timer定时器
hellowangxiansheng的博客
04-13 1838
flink为了保证定时触发操作(onTimer)与正常处理(processElement)操作的线程安全，做了同步处理，在调用触发时必须要获取到锁，也就是二者同时只能有一个执行，因此一定要保证onTimer处理的速度，以免任务发生阻塞。deleteEventTimeTimer(timestamp: Long): Unit 删除之前注册的事件时间定时器，如果没有此时间戳的定时器，则不执行。基于处理时间或者事件时间处理过一个元素之后, 注册一个定时器, 然后指定的时间执行.
flink离线任务定时器使用
05-24
Flink提供了两种类型的定时器：事件时间定时器和处理时间定时器。 事件时间定时器基于事件时间，可以在数据流中插入一个事件时间戳，一旦到达指定时间，就会触发定时器。事件时间定时器适用于需要等待一段时间以获取完整结果的场景，例如处理窗口。 处理时间定时器基于处理时间，可以在数据到达后的固定时间间隔后触发定时器。处理时间定时器适用于需要在一定时间间隔内执行某个操作的场景，例如清理过期数据。 下面是一个使用处理时间定时器的示例代码： ``` DataStreamSource<String> source = env.fromElements("a", "b", "c"); source .map(new MapFunction<String, Tuple2<String, Long>>() { @Override public Tuple2<String, Long> map(String value) throws Exception { return Tuple2.of(value, System.currentTimeMillis() + 10000L); } }) .keyBy(0) .process(new KeyedProcessFunction<String, Tuple2<String, Long>, String>() { @Override public void processElement(Tuple2<String, Long> value, Context ctx, Collector<String> out) throws Exception { // 注册处理时间定时器，10秒后触发 ctx.timerService().registerProcessingTimeTimer(value.f1); // 保存状态 ValueState<String> state = getRuntimeContext().getState(new ValueStateDescriptor<>("value-state", String.class)); state.update(value.f0); } @Override public void onTimer(long timestamp, OnTimerContext ctx, Collector<String> out) throws Exception { // 处理时间定时器触发，输出状态中的值 ValueState<String> state = getRuntimeContext().getState(new ValueStateDescriptor<>("value-state", String.class)); out.collect(state.value()); } }) .print(); env.execute(); ``` 在上面的示例中，我们先从一个字符串数据源中获取数据，并使用MapFunction将每个字符串与当前时间戳组成一个Tuple2。然后，我们使用KeyedProcessFunction对每个Tuple2进行处理，其中我们注册了处理时间定时器，并将状态保存在ValueState中。当定时器触发时，我们可以从状态中获取值并输出。 需要注意的是，处理时间定时器的触发时间是相对于 Flink JobManager 的机器时间的，而不是相对于数据流中的事件时间。因此，在使用处理时间定时器时应特别注意处理时间与事件时间之间的差异。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值