![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
定时器
文章平均质量分 51
Johnson8702
这个作者很懒,什么都没留下…
展开
-
Flink广播状态清理
在Flink实时计算的实际项目中,广播中的状态,可能并不是需要一直存在,只需要当天存在,之后不再会用到。 这种情况下,如果状态数据一直不清理,量会越来越庞大,占用内存,时间长,甚至会导致内存溢出。所以需要对过期的广播状态进行清理。 但是状态过期清理的机制,目前仅是对keyed state来说的有效,对广播状态不起作用。因此,需要自己手动去处理。 按照flink keyed state过期处理的思想,手动实现对过期的广播状态的清理;主要逻辑如下: (1)广播状态设置一个状态,专门存储一个时间戳毫秒值,通原创 2022-04-06 17:00:26 · 2071 阅读 · 0 评论 -
Flink timer定时器使用
窗口函数的问题 工作中使用到了窗口,进行阶段数据的统计。对于大部分场景是能够满足的,但是还是发现了一些问题。比如,窗口内有数据,却无法触发计算。此处以翻滚时间窗口,事件时间取处理时间为例进行说明,窗口触发的条件都是: ①water_mark时间 >= window_end_time; ② 窗口内有数据; 首先确定窗口内有数据,第②个条件满足。但是需要格外注意第①个条件,就是water_mark时间。water_mark时间的更新,需要后续有数据进来。如果后续没有数据进行,water_mark就.原创 2022-01-26 16:08:07 · 3921 阅读 · 0 评论