- 博客(2)
- 收藏
- 关注
原创 Flink-关于barrier对齐/不对齐,及实现
Flink1.11版本提供不对齐的检查点保存方式,可以将未处理的缓冲数据也保存进检查点。这样遇到分区barrier时就不需要等待对齐,而是可以直接启动状态的保存。Flink默认是禁用检查点的,如果需要开启自动保存快照的功能,需要在代码中调用执行环境的enableCheckpointing()方法,参数毫秒。:等到上游所有的并行子分区barrier都到齐,才去保存当前任务的状态。缺点:先到达的分区要做缓存等待,会造成数据数据堆积(背压)缺点:每个检查点较对齐方式需要保存更多信息,即未处理的数据。
2022-09-06 14:11:24 2765
原创 Flink-Reduce进行归约聚合(案例之找点击次数最活跃(即访问量最大))
【代码】Flink-Reduce进行归约聚合(案例之找点击次数最活跃(即访问量最大))
2022-09-06 14:03:29 241
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人