flink
文章平均质量分 90
jin6872115
这个作者很懒,什么都没留下…
展开
-
硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)
Source 端的精准一次处理比较简单,毕竟数据是落到 Flink 中,所以 Flink 只需要保存消费数据的偏移量即可, 如消费 Kafka 中的数据,Flink 将 Kafka Consumer 作为 Source,可以将偏移量保存下来,如果后续任务出现了故障,恢复的时候可以由连接器重置偏移量,重新消费数据,保证一致性。:这个我们已经了解,利用 Checkpoint 机制,把状态存盘,发生故障的时候可以恢复,保证内部的状态一致性。这确保了出现故障或崩溃时这些写入操作能够被回滚。...转载 2022-08-17 13:41:25 · 720 阅读 · 0 评论 -
Flink资料
http://ifeve.com/flink-quick-start/Related Posts:《Apache Flink官方文档》编程模型 《Flink官方文档》翻译邀请 《Flink官方文档》示例总览 《Flink官方文档》监控Wikipedia 编辑流 《Flink官方文档》Python 编程指南测试版 《Flink官方文档》Batch Examples 《Apa...原创 2019-03-20 15:10:20 · 780 阅读 · 0 评论