JackLi31742的博客

Apache Flink 采用了基于操作符（Operator）的连续流模型，可以做到微秒级别的延迟 Flink 中最核心的数据结构是 Stream，它代表一个运行在多个分区上的并行流。 Stream 代表一个数据流而不是静态数据的集合。所以，它包含的数据是随着时间增长而变化的。在 Stream 上同样可以进行各种转换操作，而且 Stream 上的转换操作都是逐条进行的，即每当有新的数据进来，整个流...

flink 通过checkpoint机制来定期保存计算任务的快照，包含两个重要的参数： 1、整个计算任务的状态， 2、数据源的位置信息，比如kafka的offset flink通过数据流中插入一个barrier（屏障）来确保checkpoint中的位置和状态完全对应 kafka的exactly once语义通过事务和生产幂等共同实现 端到端的exactly once指的是数据从kafka的A主题...