![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 86
sleepyli
纵使困顿难行,亦当砥砺奋进
展开
-
flink-kafka端到端精准一次性
flink-kafka端到端精准一次性producer有事务//FlinkKafkaProducer 默认不读取全局配置而是写死默认值AT_LEAST_ONCE 在创建KafkaProducer时要指定时间语义 详见: new FlinkKafkaProducer<>()Optional<FlinkFixedPartitioner<String>> customPartitioner = Optional.of(new FlinkFixedPartitioner原创 2021-12-22 17:19:07 · 2645 阅读 · 0 评论 -
flink一致性
flink状态一致性的保证一致性检查点(checkpoint) 端到端(end-to-end)状态一致性 端到端的精确一次(exactly-once)保证 Flink+Kafka 端到端状态一致性的保证一致性检查点(Checkpoints)Flink 使用了一种轻量级快照机制 —— 检查点(checkpoint)来保证 exactly-once 语义 有状态流应用的一致检查点,其实就是:所有任务的状态,在某个时间点的一份拷贝(一份快照)。而这个时间点,应该是所有任务都恰好处理完一个相同的输原创 2021-07-22 21:34:52 · 706 阅读 · 0 评论