![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 54
jia_yp
这个作者很懒,什么都没留下…
展开
-
flink的watermarker理解
watermark是用于处理乱序事件的,而正确的处理乱序事件,通常用watermark机制结合window来实现。 我们知道,流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络、背压等原因,导致乱序的产生(out-of-order或者说late element)。 但是对于late element,我们又不能无限期的等下去,必须要有个机制来保证一个特定的时间后,必须触发wi原创 2022-04-02 21:25:02 · 1573 阅读 · 0 评论 -
kafkaSink实现ExactlyOnec的过程
FlinkKafkaProdecer继承TwoPhaseCommitSinkFunction(分两个阶段提交sink),TwoPhaseCommitSinkFunction实现了连接的接口 CheclpointedFunction和CheckpointListener 实现CheckpointedFunction接口要实现initializeState和snapshosState方法 实现CheckpointListener接口要实现notifyCheckpointComplete和notifyChe原创 2022-04-01 20:57:10 · 1868 阅读 · 0 评论