Flink 自定义trigger

最新推荐文章于 2024-07-03 19:26:13 发布
最新推荐文章于 2024-07-03 19:26:13 发布
阅读量232 收藏
点赞数
分类专栏： flink 大数据
原文链接：https://blog.csdn.net/yidan7063/article/details/84837245
版权
大数据 同时被 2 个专栏收录
600 篇文章 31 订阅
订阅专栏
flink
93 篇文章 9 订阅
订阅专栏

 

自定义trigger的主要目的是为了等待数据到齐:

代码如下; flink版本1.6  

 

  1. public class WatermarkTest {

  2. public static void main(String[] args) throws Exception {

  3. StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

  4. env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

  5. Properties properties = new Properties();

  6. properties.setProperty("bootstrap.servers", GlobalConstants.KAFKA_BROKER);

  7. properties.setProperty("group.id", "crm_stream_window");

  8. properties.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");

  9. DataStream<String> stream =

  10. env.addSource(new FlinkKafkaConsumer011<>("test", new SimpleStringSchema(), properties));

  11. DataStream<Tuple3<String, Long, Integer>> inputMap = stream.map(new MapFunction<String, Tuple3<String, Long, Integer>>() {

  12. private static final long serialVersionUID = -8812094804806854937L;

  13.  

  14. @Override

  15. public Tuple3<String, Long, Integer> map(String value) throws Exception {

  16. return new Tuple3<>(value.split("\\W+")[0], Long.valueOf(value.split("\\W+")[1]), Integer.valueOf(value.split("\\W+")[2]));

  17. }

  18. });

  19. DataStream<Tuple3<String, Long, Integer>> watermark =

  20. inputMap.assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks<Tuple3<String, Long, Integer>>() {

  21.  

  22. private static final long serialVersionUID = 8252616297345284790L;

  23. Long currentMaxTimestamp = 0L;

  24. Long maxOutOfOrderness = 2000L;//最大允许的乱序时间是10s

  25. Watermark watermark = null;

  26. SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");

  27.  

  28. @Nullable

  29. @Override

  30. public Watermark getCurrentWatermark() {

  31. watermark = new Watermark(currentMaxTimestamp - maxOutOfOrderness);

  32. return watermark;

  33. }

  34.  

  35. @Override

  36. public long extractTimestamp(Tuple3<String, Long, Integer> element, long previousElementTimestamp) {

  37. Long timestamp = element.f1;

  38. currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);

  39. System.out.println("timestamp : " + element.f1 + "|" + format.format(element.f1) + " currentMaxTimestamp : " + currentMaxTimestamp + "|" + format.format(currentMaxTimestamp) + "," + " watermark : " + watermark.getTimestamp() + "|" + format.format(watermark.getTimestamp()));

  40. return timestamp;

  41. }

  42. });

  43.  

  44. OutputTag<Tuple3<String, Long, Integer>> lateOutputTag = new OutputTag<Tuple3<String, Long, Integer>>("late-data") {

  45. private static final long serialVersionUID = -1552769100986888698L;

  46. };

  47.  

  48. SingleOutputStreamOperator<String> resultStream = watermark

  49. .keyBy(0)

  50. .window(TumblingEventTimeWindows.of(Time.seconds(3)))

  51. .trigger(new Trigger<Tuple3<String, Long, Integer>, TimeWindow>() {

  52. private static final long serialVersionUID = 2742133264310093792L;

  53. ValueStateDescriptor<Integer> sumStateDescriptor = new ValueStateDescriptor<Integer>("sum", Integer.class);

  54.  

  55. @Override

  56. public TriggerResult onElement(Tuple3<String, Long, Integer> element, long timestamp, TimeWindow window, TriggerContext ctx) throws Exception {

  57. ValueState<Integer> sumState = ctx.getPartitionedState(sumStateDescriptor);

  58. if (null == sumState.value()) {

  59. sumState.update(0);

  60. }

  61. sumState.update(element.f2 + sumState.value());

  62. if (sumState.value() >= 2) {

  63. //这里可以选择手动处理状态

  64. // 默认的trigger发送是TriggerResult.FIRE 不会清除窗口数据

  65. return TriggerResult.FIRE_AND_PURGE;

  66. }

  67. return TriggerResult.CONTINUE;

  68. }

  69.  

  70. @Override

  71. public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {

  72. return TriggerResult.CONTINUE;

  73. }

  74.  

  75. @Override

  76. public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {

  77. return TriggerResult.CONTINUE;

  78. }

  79.  

  80. @Override

  81. public void clear(TimeWindow window, TriggerContext ctx) throws Exception {

  82. System.out.println("清理窗口状态 窗口内保存值为" + ctx.getPartitionedState(sumStateDescriptor).value());

  83. ctx.getPartitionedState(sumStateDescriptor).clear();

  84. }

  85. })

  86. //如果使用allowedLateness会有重复计算的效果

  87. //默认的trigger情况下

  88. // 在event time>window_end_time+watermark+allowedLateness时会触发窗口的clear

  89. // 后续数据如果属于该窗口而且数据的event_time>watermark-allowedLateness 会触发重新计算

  90. //

  91. //在使用自定义的trigger情况下

  92. //同一个窗口内只要满足要求可以不停的触发窗口数据往下流

  93. //在event time>window_end_time+watermark+allowedLateness时会触发窗口clear

  94. //后续数据如果属于该窗口而且数据的event_time>watermark-allowedLateness 会触发重新计算

  95. //

  96. //窗口状态的clear只和时间有关与是否自定义trigger无关

  97. .allowedLateness(Time.seconds(3))

  98. .sideOutputLateData(lateOutputTag)

  99. .apply(new WindowFunction<Tuple3<String, Long, Integer>, String, Tuple, TimeWindow>() {

  100. private static final long serialVersionUID = 7813420265419629362L;

  101.  

  102. @Override

  103. public void apply(Tuple tuple, TimeWindow window, Iterable<Tuple3<String, Long, Integer>> input, Collector<String> out) throws Exception {

  104. for (Tuple3<String, Long, Integer> stringLongTuple2 : input) {

  105. System.out.println(stringLongTuple2.f1);

  106. }

  107. SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");

  108. out.collect("window " + format.format(window.getStart()) + " window " + format.format(window.getEnd()));

  109. }

  110. });

  111.  

  112. resultStream.print();

  113. // resultStream.getSideOutput(lateOutputTag).print();

  114. env.execute("window test");

  115. }

比较了自定义trigger和默认的trigger在event time的前提下，watermark和allowedLateness对trigger的影响。

默认trigger加allowedLateness: 会导致窗口原来的数据也会触发

 

  1. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  3. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  4. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  5. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  6. 1461756862000

  7. 1461756863000

  8. 8> window  2016-04-27 19:34:21.000   window  2016-04-27 19:34:24.000

  9. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  10. 1461756862000

  11. 1461756863000

  12. 1461756862000

  13. 8> window  2016-04-27 19:34:21.000   window  2016-04-27 19:34:24.000

自定义trigger加allowedLateness: 会将落后的数据直接往下发送

 

  1. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  3. 1461756862000

  4. 1461756863000

  5. 8> window 2016-04-27 19:34:21.000 window 2016-04-27 19:34:24.000

  6. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  7. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  8. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  9. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  10. 1461756862000

  11. 8> window 2016-04-27 19:34:21.000 window 2016-04-27 19:34:24.000

可以发现两者的不同，默认的trigger会将之前窗口中的数据一起发出，但是自定义的trigger不会将之前的数据发送，而是单独将落后的数据往后发送了。避免数据的重复的问题(trigger发送数据的方式不同)。

默认trigger加allowedLateness: 会导致窗口原来的数据也会触发

 

  1. timestamp : 1461756861000|2016-04-27 19:34:21.000 currentMaxTimestamp : 1461756861000|2016-04-27 19:34:21.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : 1461756859000|2016-04-27 19:34:19.000

  3. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  4. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  5. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  6. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  7. 1461756861000

  8. 1461756862000

  9. 1461756863000

  10. 1461756862000

  11. 8> window 2016-04-27 19:34:21.000 window 2016-04-27 19:34:24.000

  12. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  13. timestamp : 1461756867000|2016-04-27 19:34:27.000 currentMaxTimestamp : 1461756867000|2016-04-27 19:34:27.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  14. timestamp : 1461756868000|2016-04-27 19:34:28.000 currentMaxTimestamp : 1461756868000|2016-04-27 19:34:28.000, watermark : 1461756865000|2016-04-27 19:34:25.000

  15. timestamp : 1461756869000|2016-04-27 19:34:29.000 currentMaxTimestamp : 1461756869000|2016-04-27 19:34:29.000, watermark : 1461756866000|2016-04-27 19:34:26.000

  16. 清理窗口状态 窗口内保存值为4

默认trigger clear()的调用时间: 在29s的时候触发的默认的clear方法，默认执行的类名(EventTimeTrigger)

 

  1. timestamp : 146175682000|1974-08-20 04:21:22.000 currentMaxTimestamp : 146175682000|1974-08-20 04:21:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 146175683000|1974-08-20 04:21:23.000 currentMaxTimestamp : 146175683000|1974-08-20 04:21:23.000, watermark : 146175680000|1974-08-20 04:21:20.000

  3. timestamp : 146175684000|1974-08-20 04:21:24.000 currentMaxTimestamp : 146175684000|1974-08-20 04:21:24.000, watermark : 146175681000|1974-08-20 04:21:21.000

  4. timestamp : 146175685000|1974-08-20 04:21:25.000 currentMaxTimestamp : 146175685000|1974-08-20 04:21:25.000, watermark : 146175682000|1974-08-20 04:21:22.000

  5. timestamp : 146175686000|1974-08-20 04:21:26.000 currentMaxTimestamp : 146175686000|1974-08-20 04:21:26.000, watermark : 146175683000|1974-08-20 04:21:23.000

  6. 146175682000

  7. 146175683000

  8. 8> window 1974-08-20 04:21:21.000 window 1974-08-20 04:21:24.000

  9. timestamp : 146175687000|1974-08-20 04:21:27.000 currentMaxTimestamp : 146175687000|1974-08-20 04:21:27.000, watermark : 146175684000|1974-08-20 04:21:24.000

  10. timestamp : 146175688000|1974-08-20 04:21:28.000 currentMaxTimestamp : 146175688000|1974-08-20 04:21:28.000, watermark : 146175685000|1974-08-20 04:21:25.000

  11. timestamp : 146175689000|1974-08-20 04:21:29.000 currentMaxTimestamp : 146175689000|1974-08-20 04:21:29.000, watermark : 146175686000|1974-08-20 04:21:26.000

默认trigger clear()的调用时间:

 

  1. timestamp : 1461756862000|2016-04-27 19:34:22.000 currentMaxTimestamp : 1461756862000|2016-04-27 19:34:22.000, watermark : -2000|1970-01-01 07:59:58.000

  2. timestamp : 1461756863000|2016-04-27 19:34:23.000 currentMaxTimestamp : 1461756863000|2016-04-27 19:34:23.000, watermark : 1461756860000|2016-04-27 19:34:20.000

  3. 1461756862000

  4. 1461756863000

  5. timestamp : 1461756864000|2016-04-27 19:34:24.000 currentMaxTimestamp : 1461756864000|2016-04-27 19:34:24.000, watermark : 1461756861000|2016-04-27 19:34:21.000

  6. timestamp : 1461756865000|2016-04-27 19:34:25.000 currentMaxTimestamp : 1461756865000|2016-04-27 19:34:25.000, watermark : 1461756862000|2016-04-27 19:34:22.000

  7. timestamp : 1461756866000|2016-04-27 19:34:26.000 currentMaxTimestamp : 1461756866000|2016-04-27 19:34:26.000, watermark : 1461756863000|2016-04-27 19:34:23.000

  8. timestamp : 1461756867000|2016-04-27 19:34:27.000 currentMaxTimestamp : 1461756867000|2016-04-27 19:34:27.000, watermark : 1461756864000|2016-04-27 19:34:24.000

  9. timestamp : 1461756868000|2016-04-27 19:34:28.000 currentMaxTimestamp : 1461756868000|2016-04-27 19:34:28.000, watermark : 1461756865000|2016-04-27 19:34:25.000

  10. timestamp : 1461756869000|2016-04-27 19:34:29.000 currentMaxTimestamp : 1461756869000|2016-04-27 19:34:29.000, watermark : 1461756866000|2016-04-27 19:34:26.000

  11. 清理窗口状态 窗口内保存值为2

通过自定义trigger和默认的trigger的比较，可以发现clear()方法的调用只和时间有关

当event time>window_end_time+watermark+allowedLateness时调用

进入event time默认的trigger看看:

 

  1. @PublicEvolving

  2. public class EventTimeTrigger extends Trigger<Object, TimeWindow> {

  3. private static final long serialVersionUID = 1L;

  4.  

  5. private EventTimeTrigger() {}

  6.  

  7. @Override

  8. public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) throws Exception {

  9. if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {

  10. // if the watermark is already past the window fire immediately

  11. return TriggerResult.FIRE;

  12. } else {

  13. // 注册一个事件时间的定时器，触发onEventTime

  14. ctx.registerEventTimeTimer(window.maxTimestamp());

  15. return TriggerResult.CONTINUE;

  16. }

  17. }

  18.  

  19. @Override

  20. public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) {

  21. //可以看到当触发onEventTime方法时只是将数据往下发送了

  22. return time == window.maxTimestamp() ?

  23. TriggerResult.FIRE :

  24. TriggerResult.CONTINUE;

  25. }

  26.  

  27. @Override

  28. public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {

  29. return TriggerResult.CONTINUE;

  30. }

  31.  

  32. @Override

  33. public void clear(TimeWindow window, TriggerContext ctx) throws Exception {

  34. //删除事件时间的定时器

  35. ctx.deleteEventTimeTimer(window.maxTimestamp());

  36. }

  37.  

  38. @Override

  39. public boolean canMerge() {

  40. return true;

  41. }

  42.  

  43. @Override

  44. public void onMerge(TimeWindow window,

  45. OnMergeContext ctx) {

  46. // only register a timer if the watermark is not yet past the end of the merged window

  47. // this is in line with the logic in onElement(). If the watermark is past the end of

  48. // the window onElement() will fire and setting a timer here would fire the window twice.

  49. long windowMaxTimestamp = window.maxTimestamp();

  50. if (windowMaxTimestamp > ctx.getCurrentWatermark()) {

  51. ctx.registerEventTimeTimer(windowMaxTimestamp);

  52. }

  53. }

  54.  

  55. @Override

  56. public String toString() {

  57. return "EventTimeTrigger()";

  58. }

  59.  

  60. /**

  61. * Creates an event-time trigger that fires once the watermark passes the end of the window.

  62. *

  63. * <p>Once the trigger fires all elements are discarded. Elements that arrive late immediately

  64. * trigger window evaluation with just this one element.

  65. */

  66. public static EventTimeTrigger create() {

  67. return new EventTimeTrigger();

  68. }

  69. }

到此有些疑问窗口中元素的清除是在什么类中实现的？何时清除的？(自我理解:按理说是应该在调用clear()方法时清除窗口数据，因为此时窗口结束时间已经比watermark-allowedLateness小了)

zxfBdd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink自定义数据源源码
02-07
本文将深入探讨如何在Flink中创建自定义数据源，包括理解Flink的数据摄入机制、自定义SourceFunction的实现以及如何整合到Flink作业中。 Flink的数据摄入流程主要依赖于Source和Sink的概念。Source代表数据的输入，...
flink自定义trigger-实现窗口随意输出
大数据星球-浪尖
02-26 7611
前面，一篇简单讲了flink的窗口及与Spark Streaming窗口之间的对比。对于flink的窗口操作，尤其是基于事件时间的窗口操作，大家还要掌三个个重要的知识点：...
flink自定义trigger详解
微电子学与固体电子学-俞驰
03-22 2073
[1]中有句话是这样的: "其实，我们要实现基于事件时间的窗口随意输出，比如1000个元素触发一次输出，那么我们就可以通过修改这个触发器来实现。" 这句话的意思是，默认的自带的trigger一般是基于EventTime的。 那么这1000 个元素可能跨度是一小时，也可能跨度是两小时，对吧 但是显然默认的Trigger只能是盯着EventTime(时间戳)来决定是否触发计算，并不能根据元素个数进行触发。 也就是说，默认的Trigger盯着的跨度是"时间差"。而不是"个数差" 讲人话就是: ①Fl
Flink 窗口触发器(Trigger)(一)
最新发布
王小工小工历程
07-03 1551
Flink的窗口触发器（Trigger）是流处理中一个非常关键的概念，它定义了窗口何时被触发并决定触发后的行为（如进行窗口数据的计算或清理）。
Flink自定义Trigger
qq_38192306的博客
10-13 695
1. 介绍 本文主要介绍开窗后自定义窗口触发器，触发器触发包括两部分： 1.当窗口内的数据量达到一定数量后触发 2.当事件事件达到窗口最大时间戳后触发 2. 环境 Flink: 1.13.1 java:1.8.251 scala:2.11.12 3.Trigger类中主要方法 1）onElement() 为添加到窗格中的每个元素调用。此方法的结果将决定是否对窗格进行触发。 2）onProcessingTime() Flink使用的是处理时间语义时使用，该方法用来以时间作为条件触发窗口。 3）onEv
【4.1】flink窗口算子的trigger触发器和Evictor清理器
PacosonSWJTU的博客
04-21 2852
【README】 本文记录了 窗口算子的触发器trigger和 evictor清理器； trigger触发器：决定了一个窗口（由 window assigner 定义）何时可以被 window function 处理； evictor清理器： evictor 可以在 trigger 触发后、调用窗口函数之前或之后从窗口中删除元素； 【1】触发器trigger 1）Trigger 接口提供了五个方法来响应不同的事件： onElement() 方法在每个元素被加入窗口时调用。 onEventTime
Flink窗口函数自定义触发器
weixin_60705477的博客
01-11 1875
自定义触发器 实际工作中，可能会遇到想控制Flink数据流速度的情况，比如每5秒最多输出3条数据，这时候如果使用默认的TimeWindow或者CountWindow都不好达到要求，这时候就可以进行自定义窗口的触发器Trigger，修改触发窗口执行计算的条件。 trigger接口有五个方法允许trigger对不同的事件做出反应： onElement():进入窗口的每个元素都会调用该方法。 onEventTime():事件时间窗口触发的时候被调用。 ...
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
flink自定义函数-字符串BASE64解码，字符编码：HEX（16进制，不编码）
04-23
1. flink自定义函数 2. 对字符串进行BASE64解码，字符串内容是十六进制，字符不编码 3. flinksql进行调用 4. 自定义函数调用过程 4.1. 编译打包代码，生成的jar复制到flink安装目录下的lib目录。 例如：/flink/lib ...
Flink 自定义算子 读取MySQL (scala源代码)
06-29
Flink 自定义算子 读取MySQL (scala源代码)
flink自定义metric中只显示metric不显示metricgroup.docx
04-17
在面对自定义监控需求时，Flink提供了灵活的Metric API来创建自定义的度量。 在描述的问题中，开发者尝试通过Flink的MetricGroup来创建一个带有特定分组信息的计数器（Counter）。MetricGroup允许我们组织和分类...
【ExtJS】输入框Clear按钮
红流
01-11 3433
修改官方版本，增加ctrl控制。 /** * @class Ext.ux.form.trigger.Clear * * Trigger for textfields and comboboxes that adds a clear icon to the field. * When this icon is clicked the value of the field is c
Flink自定义触发器
weixin_43914798的博客
05-30 1732
Apache Flink是一个流处理框架，它提供了许多内置的触发器来控制流处理作业的执行。但是，有时候内置的触发器不能满足我们的需求，这时候我们就需要自定义触发器
Flink中触发器(Trigger))
TB_CYX的博客
02-08 734
触发器决定（由窗口分配器形成）何时可以被窗口函数处理，清空和关闭等操作。每个WindowAssigner都自带有一个默认的触发器。如果默认触发器不适合您的需要，您可以使用trigger(…)指定一个自定义触发器。:窗口中每添加一个事件数据，调用一次。换句话每条数据执行一次。：当已注册的事件时间计时器被触发时，调用该方法。换句话基于事件时间的数据且达到计时器条件。: 当已注册的处理时间计时器被触发时，调用该方法。onMerger()
Flink之窗口触发机制及自定义Trigger的使用
AnameJL的博客
10-16 1644
Flink窗口触发机制解析
flink 自定义trigger
yumingzhu1的博客
11-23 1371
背景：一般情况下， 窗口操作都有默认的窗口触发器，有时候默认的trigger不满足条件，就需要我们自己去定义相应的trigger 去决定处理窗口数据的时间。 Trigger抽象类 触发器接口有五种方法，允许触发器对不同的事件作出反应 onElement()添加到每个窗口的元素都会调用此方法。 onEventTime()当注册的事件时间计时器触发时，将调用此方法。 onProcessingTime()当注册的处理时间计时器触发时，将调用此方法。 onMerge()与有状态触发器相关，并在两个触.
Flink 自定义Trigger
baifanwudi的专栏
11-06 1353
需求，滑动窗口统计，keyby下过来一条就触发窗口统计，如果没消息过来，按30s触发一次窗口。 只能自定义Trigger 直接上代码 import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.tc.flink.conf.KafkaConfig; import org.apache.fli...
Flink - 11.Scala/Java trigger 简介与使用
BITDDD小栈
03-22 2307
Flink 使用 windowAll 生成 AllwindowedStream 后调用 Trigger 执行窗口触发逻辑，下面对 Trigger 触发器做一个基本的了解。
flink 自定义trigger解决数据延迟问题
04-28
为了在处理数据时更好地解决数据延迟问题，Flink提供了自定义trigger的功能。 Flink的trigger是用来控制Windows内元素何时被考虑为一批次的组合操作。如果所有的元素到来时间的间隔都是相同的，那么Windows会对元素...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值