- 博客(2)
- 收藏
- 关注
RSS订阅原创 Flink非对齐检查点解析
它的核心思想是，在进行检查点操作时，Flink会协调所有任务（task）的执行，确保它们在同一个时间点上同时进行检查点操作。然而，非对齐检查点的缺点是可能会引入一定的一致性窗口（Consistency Window），即在某个时间点上的检查点只能保证部分任务的状态一致，而不是全部任务。Flink非对齐检查点是一种提高系统吞吐量的机制，它允许任务在不同的时间点上进行检查点操作，减少了任务等待时间。需要注意的是，在使用非对齐检查点时，由于任务之间的检查点操作可能存在时间差，因此在一致性方面可能会有一定的损失。
2023-09-16 22:25:33
399
1
原创 Flink框架中的时间语义和Watermark
在事件时间语义下，由于事件数据的乱序到达和处理延迟，Flink引入了Watermark的概念来处理这些问题。在本文中，我们将详细介绍Flink中时间语义和Watermark的概念，并提供相应的源代码示例。这种时间语义介于处理时间和事件时间之间，既能够保证确定性，又能够减少乱序事件的处理复杂性。在Flink中，时间语义用于定义事件数据的时间属性。Flink支持三种时间语义：Processing Time（处理时间）、Event Time（事件时间）和Ingestion Time（摄入时间）。
2023-09-16 20:42:17
37
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人