Flink - 13.CountAndProcessingTimeTrigger 基于 Count 和 Time 触发窗口

BIT_666

已于 2022-10-25 17:26:00 修改

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Flink 成长之路 Scala 文章标签： Flink CountTrigger ProcessingTime

于 2022-03-25 19:40:50 首次发布

本文链接：https://blog.csdn.net/BIT_666/article/details/123740650

Flink 成长之路同时被 2 个专栏收录

64 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

Scala

150 篇文章

订阅专栏

本文介绍了如何在 Flink 中自定义一个名为 CountAndProcessingTimeTrigger 的窗口触发器，该触发器结合了 CountTrigger 和 ProcessingTimeTrigger 的功能。当窗口内的元素数量达到指定的最大值或处理时间到达预设间隔时，窗口会被触发。文章详细解析了 onElement、onProcessingTime 等关键方法，并提供了代码实践和数据验证。

一.引言

上一篇文章提到了 CountTrigger && ProcessingTimeTriger，前者 CountTrigger 指定 count 数，当窗口内元素满足逻辑时进行一次触发，后者通过 TimeServer 注册窗口过期时间，到期后进行一次触发，本文自定义 Trigger 实现二者的合并即 Count 和 ProcessingTime 满足任意条件窗口都进行一次触发。

二.代码详解

1.CountAndProcessingTimeTrigger

整体代码如下，主要逻辑包含在 onElement 和 onProcessingTime，前者主要负责根据 count 触发，即实现 CountTrigger 的功能，后者则主要实现 ProcessingTime 的功能，需要预先定义两个 ReduceValue 分别记录 Count 和 Time，ReduceValue 详细用法可参考上文，下面分析主要方法。

class CountAndProcessingTimeTrigger(maxCount: Long, interval: Long) extends Trigger[String, TimeWindow] {

  // 条数计数器

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BIT_666

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Flink - 12.CountTrigger && ProcessingTimeTriger 详解

BITDDD小栈

03-23

2897

Flink 针对 window 提供了多种自定义 trigger，其中常见的有 CountTrigger 和 ProcessingTimeTrigger，下面通过两个 demo 了解一下两个 Trigger 的内部实现原理与窗口触发的相关知识。

95-190-442-源码-window-Trigger-ProcessingTimeTrigger

九师兄

07-03

806

1.视界 2.概述 2.1 拓扑图 2.2 概述 Trigger 是一个触发器，用来决定何时计算窗口 emit 该窗口部分的结果 Trigger 是一个抽象类，定义了如下所示的多个方法，每个方法在代码块中都有详细的注释 @PublicEvolving public abstract class Trigger<T, W extends Window> implements Seri...

参与评论您还未登录，请先登录后发表或查看评论

源码解读 | Flink DataStream 窗口触发器 Trigger

最新发布

SmartSi

08-30

844

本文介绍了Flink中的Trigger接口及其实现，重点分析了ProcessingTimeTrigger和EventTimeTrigger两种核心触发器。Trigger接口定义了onElement、onProcessingTime和onEventTime三个关键方法，分别处理元素到达、处理时间和事件时间到达时的响应。ProcessingTimeTrigger基于系统时间触发，而EventTimeTrigger依赖Watermark处理乱序事件。文章详细说明了触发器的四种响应方式

Flink 窗口触发器(Trigger)(二)

王小工小工历程

07-03

2081

用户可以通过实现 Trigger 接口来创建自定义触发器。自定义触发器可以基于复杂的逻辑来决定何时触发窗口的计算。onElement(element, timestamp, window, ctx): 当元素被添加到窗口时调用。(time, window, ctx, out): 当窗口的事件时间到达时调用。(time, window, ctx, out): 当窗口的处理时间到达时调用。onMerge(other): 当两个窗口合并时调用（例如，在会话窗口中使用）。canMerge。

Flink 自定义触发器实现带超时时间的 countAndTimeTrigger

shengjk1的博客

05-20

1627

Flink 自定义 countAndTimeTrigger，依据 count 和 time 进行窗口的触发

Flink 中的 EventTimeTrigger 和 ProcessingTimeTrigger 详解

http://www.54tianzhisheng.cn/

11-03

1194

EventTimeTriggerEventTimeTrigger 的触发完全依赖 watermark，换言之，如果 stream 中没有 watermark，就不会触发 EventTimeTrigger。watermark 之于事件时间就是如此重要，来看一下 watermark 的定义先~Watermarks 是某个 event time 窗口中所有数据都到齐的标志。Watermarks 作为数据...

【Flink源码篇】Flink提交流程之flink-conf.yaml的解析和3种flink命令行客户端的添加

Bulut0907

09-07

2274

上篇，我们讲解了EnvironmentInformation.logEnvironmentInfo函数。主要是log4j2日志框架如何绑定到Flink、log4j2配置文件和日志路径的定义这篇我们来讲解Flink的flink-conf.yaml和flink命令自定义参数解析。

Flink1.12 flink-conf.yaml配置

GavinKai

11-24

6804

1.配置及注释 1.1定位 flink-conf.yaml是flink的配置文件，优先级在代码和提交参数之后是通用配置 1.2注意点 flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格，否则配置不会生效。 1.3参数解析 #============================================================================== # 集群通用配置 #==============================

flink on yarn 中的flink-conf.yaml参数

JustinMars的博客

07-19

1818

Flink TaskManager 的堆内存的百分比，小于此比例则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。修改配置后，请确保将修改后的。: 如果 Flink TaskManager 的堆内存小于此值，则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。是 Flink 配置文件，用于配置 Flink 应用程序在 YARN 上的运行。: 指定每个 TaskManager 的内存大小，用于 Flink 操作和状态。文件中的参数，你可以调整 Flink 集群的行为和性能。

flink-conf.yaml配置解析

yjh1271845364的博客

01-27

7332

################################################################################ # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTIC...

Flink 基于时间窗口的自定义CountTrigger

Bugs那些事儿

04-25

2016

原理：结合Flink源码中的CountTrigger和EventTimeTrigger逻辑即可。 package net.ben.flink.hbase.function.trigger; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.common.state...

40、Flink 的默认窗口触发器 ProcessTime 代码示例

猫猫爱吃小鱼粮

06-12

479

Flink 的默认窗口触发器 ProcessTime 代码示例

Flink算子count

Qbit编程学习笔记

11-29

1136

这里借助sum来实现count功能,得到的是Tuple2<PO,Integer>,其中PO是groupBy的几个字段,而Integer是count的结果,需要注意的是,会产生多条count记录,从1开始直至最大值 DataStream<Tuple2<PO, Integer>> newStream = stream.map( new MapFunction<PO, Tuple2<PO, Integer>>() {

flink教程（1）--word count

skycanf的博客

05-23

4827

一、Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。 Flink Application 了解Flink 应用开发需要先理解Flink 的Streams、State、Time 等基础处理语义以及Flink 兼顾灵活性和方便性的多层次API。 Streams：流，分为有限数据流与无限数据流，unbounded stream 是有始无终的数据流，即

95-190-450-源码-window-Trigger-ContinuousProcessingTimeTrigger

九师兄

07-03

1140

1.视界 2.概述短窗口的计算由于其窗口期较短，那么很快就能获取到结果，但是对于长窗口来说窗口时间比较长，如果等窗口期结束才能看到结果，那么这份数据就不具备实时性，大多数情况我们希望能够看到一个长窗口的结果不断变动的情况，对此Flink提供了ContinuousEventTimeTrigger连续事件时间触发器与ContinuousProcessingTimeTrigger连续处理时间触发...

Flink窗口计算

syb18810107241的专栏

03-28

1037

Flink窗口计算

flink-13 Flink之Counter（计数器/累加器）

a3125504x的博客

09-21

2427

Flink之Counter概念用法示例概念 Accumulator即累加器，与Mapreduce counter的应用场景差不多，都能很好地观察task在运行期间的数据变化，可以在Flink job任务中的算子函数中操作累加器，但是只能在任务执行结束之后才能获得累加器的最终结果。 Counter是一个具体的累加器(Accumulator)实现IntCounter, LongCounter 和 DoubleCounter 用法 1.创建累加器 private IntCounter numLines =

Flink countWindow 使用

xsdxs的博客

09-16

9849

1. 说明 countWindows 包括滚动窗口类型和滑动窗口类型。以下通过代码和输出来说明 countWindows()逻辑。数据源代码： public static class StreamDataSource extends RichParallelSourceFunction&lt;Tuple2&lt;String, String&gt;&gt; { pr...

Flink 窗口触发器Triggers

happycao123的博客

10-16

1023

实现一个CountTrigger 窗口元素数量达到阈值时，触发计算@Overridecount++;// 触发窗口并清除计数器count = 0;@Override@Override// 其他方法（onEventTime, onProcessingTime, onMerge, clear）可以留空或实现特定的逻辑@Overridecount = 0L;// 应用全局窗口和自定义触发器。

flink的flink-conf.yaml文件解读

05-30

flink-conf.yaml文件是Apache Flink的主配置文件，用于配置Flink集群和作业的各种参数。它的位置通常在$FLINK_HOME/conf/flink-conf.yaml。该文件中包含了很多不同的配置项，下面是一些常见的配置项及其含义： - jobmanager.rpc.address：指定JobManager RPC地址，默认为localhost。 - jobmanager.rpc.port：指定JobManager RPC端口，默认为6123。 - taskmanager.numberOfTaskSlots：指定每个TaskManager可用的task slots数量，默认为1。 - taskmanager.memory.process.size：指定每个TaskManager的JVM进程堆内存大小，默认为1g。 - parallelism.default：指定默认的并行度。 - state.backend：指定Flink作业状态后端，可以选择MemoryStateBackend、FsStateBackend或者RocksDBStateBackend。 - state.checkpoints.dir：指定Flink作业checkpoint保存的位置。 - state.checkpoints.interval：指定Flink作业checkpoint的间隔时间。 - queryable-state.enable：启用Queryable State特性，可以让用户在运行时查询状态。这些仅是一部分常见的配置项，实际上flink-conf.yaml文件中包含了更多的配置项，用户可以根据需要进行配置。