大数据
fengzhuangsheng
这个作者很懒,什么都没留下…
展开
-
Flink 图解事件时间与Watermarks
如果你正在构建实时流处理应用程序,那么事件时间处理是你迟早必须使用的功能之一。因为在现实世界的大多数用例中,消息到达都是无序的,应该有一些方法,通过你建立的系统知道消息可能延迟到达,并且有相应的处理方案。在这篇博文中,我们将看到为什么我们需要事件时间处理,以及我们如何在ApacheFlink中使用它。 EventTime是事件在现实世界中发生的时间,ProcessingTime是Flink系统处...转载 2019-08-26 15:44:04 · 253 阅读 · 0 评论 -
Flink 小贴士 (2):Flink 如何管理 Kafka 消费位点
在本篇《Flink 小贴士》中,我们将结合例子逐步讲解 Apache Flink 是如何与 Apache Kafka 协同工作并确保来自 Kafka topic 的消息以 exactly-once 的语义被处理。 检查点(Checkpoint)是使 Apache Flink 能从故障恢复的一种内部机制。检查点是 Flink 应用状态的一个一致性副本,包括了输入的读取位点。在发生故障时,Flink...转载 2019-09-16 11:39:32 · 233 阅读 · 0 评论