- 博客(2)
- 收藏
- 关注
RSS订阅原创 Flink-关于barrier对齐/不对齐，及实现
Flink1.11版本提供不对齐的检查点保存方式，可以将未处理的缓冲数据也保存进检查点。这样遇到分区barrier时就不需要等待对齐，而是可以直接启动状态的保存。Flink默认是禁用检查点的，如果需要开启自动保存快照的功能，需要在代码中调用执行环境的enableCheckpointing()方法,参数毫秒。：等到上游所有的并行子分区barrier都到齐，才去保存当前任务的状态。缺点：先到达的分区要做缓存等待，会造成数据数据堆积（背压）缺点：每个检查点较对齐方式需要保存更多信息，即未处理的数据。
2022-09-06 14:11:24
2632
原创 Flink-Reduce进行归约聚合（案例之找点击次数最活跃（即访问量最大））
【代码】Flink-Reduce进行归约聚合（案例之找点击次数最活跃（即访问量最大））
2022-09-06 14:03:29
235
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人