【Flink】Flink TimeServer 之 timerService().registerProcessingTimeTimer

最新推荐文章于 2023-04-02 11:41:39 发布

九师兄

最新推荐文章于 2023-04-02 11:41:39 发布

阅读量2.3k

点赞数

分类专栏：大数据-flink

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/106652768

版权

大数据-flink 专栏收录该内容

854 篇文章 856 订阅 ¥99.90 ¥299.90

订阅专栏

本文深入探讨了Flink中的processingTimeTimersQueue如何注册和调度处理时间定时器。通过分析代码和调试过程，揭示了定时任务的注册、触发条件以及可能的重合情况。总结指出，processingTimeTimersQueue是一个优先级队列，用于调度窗口计算，确保准确的触发时机。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

故事起源于examples-scala 中有一个案例

package io.github.streamingwithflink.chapter6

import com.ververica.field.utils.MyTimeUtils
import io.github.str

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Flink源码解析系列--ProcessingTimeService定时器

打酱油的葫芦娃

03-24

7173

本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. @PublicEvolving public interface ProcessingTimeService { // 返回当前的 processing time long getCurrentProcessingTime(); /** * Registers a task to be executed when (processing) time is {@code .

95-860-040-源码-定时器-SystemProcessingTimeService简介

九师兄

09-28

176

1.世界 2.概述 flink 中的定时器，顾名思义，定时器就是用户指定一个未来的时间，当时间到达的时候，会调用用户设置的回调函数。flink 中的进程时间定时器和事件时间定时器都依赖于底层的 ProcessingTimeService。 3.SystemProcessingTimeService 3.1 拓扑图 3.2 概述 SystemProcessingTimeService 继承了 ProcessingTimeService，它是一个 flink 提供的默认的进程时间服务，Syste

参与评论您还未登录，请先登录后发表或查看评论

flink之Timer定时器

qq_44962429的博客

12-08

3144

一、Timer简介 Timer（定时器）是Flink Streaming API提供的用于感知并利用处理时间/事件时间变化的机制。最常见的使用Timer的地方就是KeyedProcessFunction。我们在其processElement()方法中注册Timer，然后覆写其onTimer()方法作为Timer触发时的回调逻辑。根据时间特征的不同：（1）处理时间——调用Context.timerService().registerProcessingTimeTimer()注册；onTimer()在系统时

Flink-TimerService 和定时器（Timers）

Knight

07-03

2594

Context 和 OnTimerContext 所持有的 TimerService 对象拥有以下方法: currentProcessingTime(): Long 返回当前处理时间 currentWatermark(): Long 返回当前 watermark 的时间戳 registerProcessingTimeTimer(timestamp: Long): Unit 会注册当前 key 的 processing time 的定时器。当 processing time 到达定时时间时，触发 timer。

聊聊flink的TimerService

weixin_33811539的博客

01-17

739

序本文主要研究一下flink的TimerService TimerService flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/TimerService.java @PublicEvolving public interface TimerService { String UNSUPPO...

【Flink】Flink 时间之 timerService().registerEventTimeTimer 主要做了什么

九师兄

06-27

4057

1.概述这个问题的引入主要是因为，我想知道event time 窗口是怎么进行定时的，怎么进行触发的。先参考一下：时间设计：【Flink】Flink时间是如何设计的时间初始化：【Flink】Flink时间之internalTimerService初始化 process time的流程【Flink】Flink TimeServer 之 timerService().registerProcessingTimeTimer 2.注册流程 Flink 中ProcessFunction 注册EventTim

flink-dist-2.11-1.11.3.jar

03-02

flink环境集合包，1.11版本

flink-connector-clickhouse-1.12.0.jar

02-15

flink 以connector形式连接clickhouse，资源稀缺，阿里云已经找不到了 id Int, age Int, sex Int, create_date Date ) WITH ( 'connector' = 'clickhouse', 'url' = 'jdbc:clickhouse://10.1.3.176:8123/test'...

flink-cdc-3.1.1-bin.tar.gz 免费下载

最新发布

08-13

flink-cdc-3.1.1-bin.tar.gz 免费下载flink-cdc-3.1.1-bin.tar.gz 免费下载flink-cdc-3.1.1-bin.tar.gz 免费下载flink-cdc-3.1.1-bin.tar.gz 免费下载flink-cdc-3.1.1-bin.tar.gz 免费下载flink-cdc-3.1.1-bin.tar....

【Flink】Flink时间之internalTimerService初始化

九师兄

06-10

1114

1.概述在fink中，窗口的划分可以是通过时间，也可以是通过数量来进行划分，比如timeWindow，countWidow等，时间系统在窗口的应用主要是来注册窗口触发时间点的定时器，来决定窗口什么时候开始执行窗口函数。关于窗口的操作，那么WindowOperator这个类就是核心类，这个类里描述了关于窗口的操作的一些服务，他的继承结果如下：从上图我们可以看到，他继承了AbstractUdfStreamOperator，实现了Triggerable，OneInputStreamOperator接口。.

Flink 中的处理函数-第七章

wangshiqi666的博客

04-02

644

flink-scala

Flink_Trigger_Flink 中的响指

bluedraam_pp的博客

11-23

629

在上篇文章中，我详细讨论了 Flink 是如何为 record 分配窗口的。接下来我们就要讨论一下什么时机触发对窗口的计算了。这就像响指的功能，当集齐五个石头后，什么时候毁灭宇宙一半的生命呢?大家都知道了，还差一个响指。我们今天讨论的触发时机，和响指的功能差不多，在 Flink 中，Flink 的开发者给他起了一个非常形象的名字——Trigger。请看下面的图片， Trigger 就是手枪的扳机。扳动扳机就能射出子弹，在 Flink 里面，Trigger 类决定了，是否对窗口中的数据进行计算，并将计算结

Flink中定时器的使用

weixin_42796403的博客

03-07

3570

定时器基于处理时间或者事件时间处理过一个元素之后, 注册一个定时器, 然后指定的时间执行. Context和OnTimerContext所持有的TimerService对象拥有以下方法: currentProcessingTime(): Long 返回当前处理时间 currentWatermark(): Long 返回当前watermark的时间戳 registerProcessingTimeTimer(timestamp: Long): Unit 会注册当前key的processing time的定时

Flink EventTime

Claroja

12-29

235

package com.claroja.watermark; import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.typeinfo.TypeHint; import org.apache.flink.api.ja

flink定时器使用问题

L13763338360的博客

01-29

3018

时间模型 flink在streaming程序中支持三种不同的时间模型 event time：事件发生时间。根据事件时间处理，可能需要等待一定时间的延迟事件和无序事件，事件时间也常常跟处理时间操作一起使用。 ingestion time：进入flink的时间（source operator分配的时间）。不能处理任何无序事件或者延迟事件，但是程序无需指定如何产生水印。 processing time：flink执行window操作的时间。处理时间最简单，有最好的性能和最低的延迟，但无法处理事件乱序问题。

Flink定时器

qq_43523503的博客

03-18

890

6.7 定时器 6.7.1 定时器API 以keyBy()之后的键控流的定时器为例： //TODO 定时器 API //1. 注册定时器 ctx.timerService().registerProcessingTimeTimer(); ctx.timerService().registerEventTimeTimer(); //2. 删除定时器 ctx.timerService().deleteProcessingTimeTimer(); ctx.timerService().deleteEventTi

flink源码阅读---timer定时机制

longlovefilm的博客

11-23

405

1 注册定时器机制 1.0 @Override public void registerProcessingTimeTimer(N namespace, long time) { InternalTimer<K, N> oldHead = processingTimeTimersQueue.peek(); if (processingTimeTimersQueue.add(new TimerHeapInternalTimer<>(time, (K) keyCont.

flink获取第二天0点的时间戳

zhou_zhao_xu的博客

04-12

541

Long ts= ctx.timerService().currentProcessingTime() / (24 * 60 * 60 * 1000 + 1) * (24 * 60 * 60 * 1000); ctx.timerService().currentProcessingTime()获取当前处理的时间除(1000 * 60 * 60 * 24)是变成当前的日期10号(单位是天) 加1变成11日乘(1000 * 60 * 60 * 24)又变成变成13位的时间戳-11日向上取整 0点 .

flink实战--flinkSQL入门大全