Flink 自定义trigger

最新推荐文章于 2024-12-23 11:37:53 发布
最新推荐文章于 2024-12-23 11:37:53 发布
阅读量258 收藏
点赞数
分类专栏： flink 大数据
原文链接：https://blog.csdn.net/yidan7063/article/details/84837245
版权
大数据 同时被 2 个专栏收录
654 篇文章 37 订阅
订阅专栏
flink
93 篇文章 10 订阅
订阅专栏

 

自定义trigger的主要目的是为了等待数据到齐:

代码如下; flink版本1.6  

 

  1. public class WatermarkTest {

  2. public static void main(String[] args) throws Exception {

  3. StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

  4. env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

  5. Properties properties = new Properties();

  6. properties.setProperty("bootstrap.servers", GlobalConstants.KAFKA_BROKER);

  7. properties.setProperty("group.id", "crm_stream_window");

  8. properties.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");

  9. DataStream<String> stream =

  10. env.addSource(new FlinkKafkaConsumer011<>("test", new SimpleStringSchema(), properties));

  11. DataStream<Tuple3<String, Long, Integer>> inputMap = stream.map(new MapFunction<String, Tuple3<String, Long, Integer>>() {

  12. private static final long serialVersionUID = -8812094804806854937L;

  13.  

  14. @Override

  15. public Tuple3<String, Long, Integer> map(String value) throws Exception {

  16. return new Tuple3<>(value.split("\\W+")[0], Long.valueOf(value.split("\\W+")[1]), Integer.valueOf(value.split("\\W+")[2]));

  17. }

  18. });

  19. DataStream<Tuple3<String, Long, Integer>> watermark =

  20. inputMap.assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks<Tuple3<String, Long, Integer>>() {

  21.  

  22. private static final long serialVersionUID = 8252616297345284790L;

  23. Long currentMaxTimestamp = 0L;

  24. Long maxOutOfOrderness = 2000L;//最大允许的乱序时间是10s

  25. Watermark watermark = null;

  26. SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");

  27.  

  28. @Nullable

  29. @Override

  30. public Watermark getCurrentWatermark() {

  31. watermark = new Watermark(currentMaxTimestamp - maxOutOfOrderness);

  32. return watermark;

  33. }

  34.  

  35. @Override

  36. public long extractTimestamp(Tuple3<String, Long, Integer> element, long previousElementTimestamp) {

  37. Long timestamp = element.f1;

  38. currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);

  39. System.out.println("timestamp : " + element.f1 + "|" + format.format(element.f1) + " currentMaxTimestamp : " + currentMaxTimestamp + "|" + format.format(currentMaxTimestamp) + "," + " watermark : " + watermark.getTimestamp() + "|" + format.format(watermark.getTimestamp()));

  40. return timestamp;

  41. }

  42. });

  43.  

  44. OutputTag<Tuple3<String, Long, Integer>> lateOutputTag = new OutputTag<Tuple3<String, Long, Integer>>("late-data") {

  45. private static final long serialVersionUID = -1552769100986888698L;

  46. };

  47.  

  48. SingleOutputStreamOperator<String> resultStream = watermark

  49. .keyBy(0)

  50. .window(TumblingEventTimeWindows.of(Time.seconds(3)))

  51. .trigger(new Trigger<Tuple3<String, Long, Integer>, TimeWindow>() {

  52. private static final long serialVersionUID = 2742133264310093792L;

  53. ValueStateDescriptor<Integer> sumStateDescriptor = new ValueStateDescriptor<Integer>("sum", Integer.class);

  54.  

  55. @Override

  56. public TriggerResult onElement(Tuple3<String, Long, Integer> element, long timestamp, TimeWindow window, TriggerContext ctx) throws Exception {

  57. ValueState<Integer> sumState = ctx.getPartitionedState(sumStateDescriptor);

  58. if (null == sumState.value()) {

  59. sumState.update(0);

  60. }

  61. sumState.update(element.f2 + sumState.value());

  62. if (sumState.value() >= 2) {

  63. //这里可以选择手动处理状态

  64. // 默认的trigger发送是TriggerResult.FIRE 不会清除窗口数据

  65. return TriggerResult.FIRE_AND_PURGE;

  66. }

  67. return TriggerResult.CONTINUE;

  68. }

  69.  

  70. @Override

  71. public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {

  72. return TriggerResult.CONTINUE;

  73. }

  74.  

  75. @Override

  76. public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {

  77. return TriggerResult.CONTINUE;

  78. }

  79.  

  80. @Override

  81. public void clear(TimeWindow window, TriggerContext ctx) throws Exception {

  82. System.out.println("清理窗口状态 窗口内保存值为" + ctx.getPartitionedState(sumStateDescriptor).value());

  83. ctx.getPartitionedState(sumStateDescriptor).clear();

  84. }

  85. })

  86. //如果使用allowedLateness会有重复计算的效果

  87. //默认的trigger情况下

  88. // 在event time>window_end_time+watermark+allowedLateness时会触发窗口的clear

  89. // 后续数据如果属于该窗口而且数据的event_time>watermark-allowedLateness 会触发重新计算

  90. //

  91. //在使用自定义的trigger情况下

  92. //同一个窗口内只要满足要求可以不停的触发窗口数据往下流

  93. //在event time>window_end_time+watermark+allowedLateness时会触发窗口clear

  94. //后续数据如果属于该窗口而且数据的event_time>watermark-allowedLateness 会触发重新计算

  95. //

  96. //窗口状态的clear只和时间有关与是否自定义trigger无关

  97. .allowedLateness(Time.seconds(3))

  98. .sideOutputLateData(lateOutputTag)

  99. .apply(new WindowFunction<Tuple3<String, Long, Integer>, String, Tuple, TimeWindow>() {

  100. private static final long serialVersionUID = 7813420265419629362L;

  101.  

  102. @Override

  103. public void apply(Tuple tuple, TimeWindow window, Iterable<Tuple3<String, Long, Integer>> input, Collector<String> out) throws Exception {

  104. for (Tuple3<String, Long, Integer> stringLongTuple2 : input) {

  105. System.out.println(stringLongTuple2.f1);

  106. }

  107. SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");

  108. out.collect("window " + format.format(window.getStart()) + " window " + format.format(window.getEnd()));

  109. }

  110. });

  111.  

  112. resultStream.print();

  113. // resultStream.getSideOutput(lateOutputTag).print();

  114. env.execute("window test");

  115. }

比较了自定义trigger和默认的trigger在event time的前提下，watermark和allowedLateness对trigger的影响。

默认trigger加allowedLateness: 会导致窗口原来的数据也会触发

 

  1. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  3. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  4. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  5. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  6. 1461756862000

  7. 1461756863000

  8. 8> window  2016-04-27 19:34:21.000   window  2016-04-27 19:34:24.000

  9. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  10. 1461756862000

  11. 1461756863000

  12. 1461756862000

  13. 8> window  2016-04-27 19:34:21.000   window  2016-04-27 19:34:24.000

自定义trigger加allowedLateness: 会将落后的数据直接往下发送

 

  1. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  3. 1461756862000

  4. 1461756863000

  5. 8> window 2016-04-27 19:34:21.000 window 2016-04-27 19:34:24.000

  6. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  7. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  8. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  9. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  10. 1461756862000

  11. 8> window 2016-04-27 19:34:21.000 window 2016-04-27 19:34:24.000

可以发现两者的不同，默认的trigger会将之前窗口中的数据一起发出，但是自定义的trigger不会将之前的数据发送，而是单独将落后的数据往后发送了。避免数据的重复的问题(trigger发送数据的方式不同)。

默认trigger加allowedLateness: 会导致窗口原来的数据也会触发

 

  1. timestamp : 1461756861000|2016-04-27 19:34:21.000 currentMaxTimestamp : 1461756861000|2016-04-27 19:34:21.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : 1461756859000|2016-04-27 19:34:19.000

  3. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  4. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  5. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  6. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  7. 1461756861000

  8. 1461756862000

  9. 1461756863000

  10. 1461756862000

  11. 8> window 2016-04-27 19:34:21.000 window 2016-04-27 19:34:24.000

  12. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  13. timestamp : 1461756867000|2016-04-27 19:34:27.000 currentMaxTimestamp : 1461756867000|2016-04-27 19:34:27.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  14. timestamp : 1461756868000|2016-04-27 19:34:28.000 currentMaxTimestamp : 1461756868000|2016-04-27 19:34:28.000, watermark : 1461756865000|2016-04-27 19:34:25.000

  15. timestamp : 1461756869000|2016-04-27 19:34:29.000 currentMaxTimestamp : 1461756869000|2016-04-27 19:34:29.000, watermark : 1461756866000|2016-04-27 19:34:26.000

  16. 清理窗口状态 窗口内保存值为4

默认trigger clear()的调用时间: 在29s的时候触发的默认的clear方法，默认执行的类名(EventTimeTrigger)

 

  1. timestamp : 146175682000|1974-08-20 04:21:22.000 currentMaxTimestamp : 146175682000|1974-08-20 04:21:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 146175683000|1974-08-20 04:21:23.000 currentMaxTimestamp : 146175683000|1974-08-20 04:21:23.000, watermark : 146175680000|1974-08-20 04:21:20.000

  3. timestamp : 146175684000|1974-08-20 04:21:24.000 currentMaxTimestamp : 146175684000|1974-08-20 04:21:24.000, watermark : 146175681000|1974-08-20 04:21:21.000

  4. timestamp : 146175685000|1974-08-20 04:21:25.000 currentMaxTimestamp : 146175685000|1974-08-20 04:21:25.000, watermark : 146175682000|1974-08-20 04:21:22.000

  5. timestamp : 146175686000|1974-08-20 04:21:26.000 currentMaxTimestamp : 146175686000|1974-08-20 04:21:26.000, watermark : 146175683000|1974-08-20 04:21:23.000

  6. 146175682000

  7. 146175683000

  8. 8> window 1974-08-20 04:21:21.000 window 1974-08-20 04:21:24.000

  9. timestamp : 146175687000|1974-08-20 04:21:27.000 currentMaxTimestamp : 146175687000|1974-08-20 04:21:27.000, watermark : 146175684000|1974-08-20 04:21:24.000

  10. timestamp : 146175688000|1974-08-20 04:21:28.000 currentMaxTimestamp : 146175688000|1974-08-20 04:21:28.000, watermark : 146175685000|1974-08-20 04:21:25.000

  11. timestamp : 146175689000|1974-08-20 04:21:29.000 currentMaxTimestamp : 146175689000|1974-08-20 04:21:29.000, watermark : 146175686000|1974-08-20 04:21:26.000

默认trigger clear()的调用时间:

 

  1. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  3. 1461756862000

  4. 1461756863000

  5. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  6. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  7. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  8. timestamp : 1461756867000|2016-04-27 19:34:27.000 currentMaxTimestamp : 1461756867000|2016-04-27 19:34:27.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  9. timestamp : 1461756868000|2016-04-27 19:34:28.000 currentMaxTimestamp : 1461756868000|2016-04-27 19:34:28.000, watermark : 1461756865000|2016-04-27 19:34:25.000

  10. timestamp : 1461756869000|2016-04-27 19:34:29.000 currentMaxTimestamp : 1461756869000|2016-04-27 19:34:29.000, watermark : 1461756866000|2016-04-27 19:34:26.000

  11. 清理窗口状态 窗口内保存值为2

通过自定义trigger和默认的trigger的比较，可以发现clear()方法的调用只和时间有关

当event time>window_end_time+watermark+allowedLateness时调用

进入event time默认的trigger看看:

 

  1. @PublicEvolving

  2. public class EventTimeTrigger extends Trigger<Object, TimeWindow> {

  3. private static final long serialVersionUID = 1L;

  4.  

  5. private EventTimeTrigger() {}

  6.  

  7. @Override

  8. public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) throws Exception {

  9. if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {

  10. // if the watermark is already past the window fire immediately

  11. return TriggerResult.FIRE;

  12. } else {

  13. // 注册一个事件时间的定时器，触发onEventTime

  14. ctx.registerEventTimeTimer(window.maxTimestamp());

  15. return TriggerResult.CONTINUE;

  16. }

  17. }

  18.  

  19. @Override

  20. public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) {

  21. //可以看到当触发onEventTime方法时只是将数据往下发送了

  22. return time == window.maxTimestamp() ?

  23. TriggerResult.FIRE :

  24. TriggerResult.CONTINUE;

  25. }

  26.  

  27. @Override

  28. public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {

  29. return TriggerResult.CONTINUE;

  30. }

  31.  

  32. @Override

  33. public void clear(TimeWindow window, TriggerContext ctx) throws Exception {

  34. //删除事件时间的定时器

  35. ctx.deleteEventTimeTimer(window.maxTimestamp());

  36. }

  37.  

  38. @Override

  39. public boolean canMerge() {

  40. return true;

  41. }

  42.  

  43. @Override

  44. public void onMerge(TimeWindow window,

  45. OnMergeContext ctx) {

  46. // only register a timer if the watermark is not yet past the end of the merged window

  47. // this is in line with the logic in onElement(). If the watermark is past the end of

  48. // the window onElement() will fire and setting a timer here would fire the window twice.

  49. long windowMaxTimestamp = window.maxTimestamp();

  50. if (windowMaxTimestamp > ctx.getCurrentWatermark()) {

  51. ctx.registerEventTimeTimer(windowMaxTimestamp);

  52. }

  53. }

  54.  

  55. @Override

  56. public String toString() {

  57. return "EventTimeTrigger()";

  58. }

  59.  

  60. /**

  61. * Creates an event-time trigger that fires once the watermark passes the end of the window.

  62. *

  63. * <p>Once the trigger fires all elements are discarded. Elements that arrive late immediately

  64. * trigger window evaluation with just this one element.

  65. */

  66. public static EventTimeTrigger create() {

  67. return new EventTimeTrigger();

  68. }

  69. }

到此有些疑问窗口中元素的清除是在什么类中实现的？何时清除的？(自我理解:按理说是应该在调用clear()方法时清除窗口数据，因为此时窗口结束时间已经比watermark-allowedLateness小了)

【Flink】Flink 自定义 trigger并且进行分析
九师兄
06-27 1115
1.概述 对于flink的窗口操作，尤其是基于事件时间的窗口操作，大家还要掌三个重要的知识点： 窗口分配器：就是决定着流入flink的数据，该属于哪个窗口。 时间戳抽取器/watermark生成器：抽取时间戳并驱动着程序正常执行。 trigger：决定着数据啥时候落地。 flink有很多内置的触发器，对于基于事件时间的窗口触发器叫做EventTimeTrigger。其实，我们要实现基于事件时间的窗口随意输出，比如1000个元素触发一次输出，那么我们就可以通过修改这个触发器来实现。 那么可能你没留意前面.
flink1.17 自定义trigger ContinuousEventTimeTrigger
yy的博客
08-05 454
固定interval如果迟迟不关闭 可以强行提前输出内部残留数据。
Flink 自定义Trigger
baifanwudi的专栏
11-06 1390
需求，滑动窗口统计，keyby下过来一条就触发窗口统计，如果没消息过来，按30s触发一次窗口。 只能自定义Trigger 直接上代码 import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.tc.flink.conf.KafkaConfig; import org.apache.fli...
Flink自定义Trigger
qq_38192306的博客
10-13 750
1. 介绍 本文主要介绍开窗后自定义窗口触发器，触发器触发包括两部分： 1.当窗口内的数据量达到一定数量后触发 2.当事件事件达到窗口最大时间戳后触发 2. 环境 Flink: 1.13.1 java:1.8.251 scala:2.11.12 3.Trigger类中主要方法 1）onElement() 为添加到窗格中的每个元素调用。此方法的结果将决定是否对窗格进行触发。 2）onProcessingTime() Flink使用的是处理时间语义时使用，该方法用来以时间作为条件触发窗口。 3）onEv
Flink 窗口机制深入解析与自定义触发器、剔除器、ProcessFunction
最新发布
weixin_37804164的博客
12-23 467
Flink 的窗口机制是流处理中的一个核心概念，旨在对无限数据流进行分组并执行批处理。Flink 提供了丰富的窗口功能，如滚动窗口、滑动窗口和会话窗口等，以及自定义触发器（Trigger）、剔除器（Evictor）和 ProcessFunction，使得开发者可以根据实际需求灵活地处理流数据。本文将深入解析 Flink 窗口机制的源码实现，并详细讲解如何自定义触发器、剔除器以及如何使用 ProcessFunction。触发器是决定何时关闭窗口的关键部分。
flink 自定义trigger
yumingzhu1的博客
11-23 1428
背景：一般情况下， 窗口操作都有默认的窗口触发器，有时候默认的trigger不满足条件，就需要我们自己去定义相应的trigger 去决定处理窗口数据的时间。 Trigger抽象类 触发器接口有五种方法，允许触发器对不同的事件作出反应 onElement()添加到每个窗口的元素都会调用此方法。 onEventTime()当注册的事件时间计时器触发时，将调用此方法。 onProcessingTime()当注册的处理时间计时器触发时，将调用此方法。 onMerge()与有状态触发器相关，并在两个触.
flink自定义trigger详解
微电子学与固体电子学-俞驰
03-22 2139
[1]中有句话是这样的: "其实，我们要实现基于事件时间的窗口随意输出，比如1000个元素触发一次输出，那么我们就可以通过修改这个触发器来实现。" 这句话的意思是，默认的自带的trigger一般是基于EventTime的。 那么这1000 个元素可能跨度是一小时，也可能跨度是两小时，对吧 但是显然默认的Trigger只能是盯着EventTime(时间戳)来决定是否触发计算，并不能根据元素个数进行触发。 也就是说，默认的Trigger盯着的跨度是"时间差"。而不是"个数差" 讲人话就是: ①Fl
Flink自定义触发器
weixin_43914798的博客
05-30 1834
Apache Flink是一个流处理框架，它提供了许多内置的触发器来控制流处理作业的执行。但是，有时候内置的触发器不能满足我们的需求，这时候我们就需要自定义触发器
Flink 自定义Trigger实战代码，结合State来使用
qq_31866793的博客
11-06 1220
简单说明： 比如window大小为20秒，在进入window的时候 有一个valueState在统计数据数量，数量大于等于2的时候直接触发这个窗口，如果在20秒事件窗口内只有一条数据进入 那么正常等window事件到了 就会触发这一条数据了 。 package appOperator; import com.alibaba.fastjson.JSONObject; import org....
flink 自定义trigger解决数据延迟问题
04-28
为了在处理数据时更好地解决数据延迟问题，Flink提供了自定义trigger的功能。 Flink的trigger是用来控制Windows内元素何时被考虑为一批次的组合操作。如果所有的元素到来时间的间隔都是相同的，那么Windows会对元素...
flink自定义trigger-实现窗口随意输出
大数据星球-浪尖
02-26 7657
前面，一篇简单讲了flink的窗口及与Spark Streaming窗口之间的对比。对于flink的窗口操作，尤其是基于事件时间的窗口操作，大家还要掌三个个重要的知识点：...
Flink-触发器Trigger实现自定义窗口
xindong1024的博客
09-11 1171
Flink已经默认提供了多种窗口，满足大部分的场景使用，但是针对部分场景需要更加灵活的窗口。比如在使用处理时间窗口时，虽然保证了在稳定的时间内的进行数据计算，但是在不同的窗口内的数据量可能差异较大，有可能出现由于数据量过大导致下游算子计算异常的情况，所以期望实现一种窗口，基于处理时间的窗口，但是当窗口内数据量达到一定阈值时结束当前窗口触发计算。
Flink窗口函数自定义触发器
weixin_60705477的博客
01-11 2003
自定义触发器 实际工作中，可能会遇到想控制Flink数据流速度的情况，比如每5秒最多输出3条数据，这时候如果使用默认的TimeWindow或者CountWindow都不好达到要求，这时候就可以进行自定义窗口的触发器Trigger，修改触发窗口执行计算的条件。 trigger接口有五个方法允许trigger对不同的事件做出反应： onElement():进入窗口的每个元素都会调用该方法。 onEventTime():事件时间窗口触发的时候被调用。 ...
Flink自定义窗口触发器
shirukai
06-08 5401
Flink内置触发器及自定义窗口触发器 flink: 1.10.1 Github: https://github.com/shirukai/flink-examples-trigger.git 前段时间同事开发遇到一个需求，要求按照事件时间10分钟窗口计数，同时需要有新数据时每分钟输出一次结果。窗口计数非常简单，设置一个窗口，然后运用一个聚合函数就可以解决了。但是有新数据时每分钟输出一次结果，好像实现起来并不容易，因为按照平时的窗口，设置10分钟之后，要等到watermark超过了当前的窗口之后，才会被
Flink之窗口触发机制及自定义Trigger的使用
AnameJL的博客
10-16 1966
Flink窗口触发机制解析
flink 自定义 窗口_Flink 自定义触发器实现带超时时间的 CountWindow
weixin_39990558的博客
11-21 292
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源Flink 的 window 有两个基本款，TimeWindow 和 CountWindow。TimeWindow 是到时间就触发窗口，CountWindow 是到数量就触发。如果我需要到时间就触发，并且到时间之前如果已经积累了足够数量的数据；或者在限定时间内没有积累足够数量的数据，我依然希望触发窗口业务，那么就需要自定义触发器。...
Flink 自定义触发器
qq_31866793的博客
07-31 2363
trigger接口有五个方法允许trigger对不同的事件做出反应： onElement():进入窗口的每个元素都会调用该方法。 onEventTime():事件时间timer触发的时候被调用。 onProcessingTime():处理时间timer触发的时候会被调用。 onMerge():有状态的触发器相关，并在它们相应的窗口合并时合并两个触发器的状态，例如使用会话窗口。 cl...
Flink中触发器(Trigger))
TB_CYX的博客
02-08 865
触发器决定（由窗口分配器形成）何时可以被窗口函数处理，清空和关闭等操作。每个WindowAssigner都自带有一个默认的触发器。如果默认触发器不适合您的需要，您可以使用trigger(…)指定一个自定义触发器。:窗口中每添加一个事件数据，调用一次。换句话每条数据执行一次。：当已注册的事件时间计时器被触发时，调用该方法。换句话基于事件时间的数据且达到计时器条件。: 当已注册的处理时间计时器被触发时，调用该方法。onMerger()
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值