Flink
文章平均质量分 55
flink学习及项目总结整理
月暖.如梵音
这个作者很懒,什么都没留下…
展开
-
Flink执行流程
1、flink关键字对比spark flink spark operator RDD operator chain stage data flow DAG one to one 窄依赖 redistribute 宽依赖 subtask task task taskset partition partition Parallelism Parallelism原创 2021-06-09 23:11:52 · 1730 阅读 · 2 评论 -
Flink如何保证端到端的一致性
1、流数据处理的容错语义 1、At most once --最多一次, 也就是说数据最多被处理一次,有可能会丢失 2、At least once --至少一次, 也就是说数据至少会被处理一次,有可能会重复 3、Exactly-Once --精准一次, 也就是说数据只会被处理一次,不会丢也不会重复,注意: 更准确的理解应该是只会被正确处理一次而不是仅一次 2、Flink如何支持End-to-End Exactly-Once 1、Source: offset+Checkpoint: 需要数据源支持off原创 2021-06-06 20:23:11 · 482 阅读 · 2 评论