Flink
文章平均质量分 92
fengzhuangsheng
这个作者很懒,什么都没留下…
展开
-
Flink 图解事件时间与Watermarks
如果你正在构建实时流处理应用程序,那么事件时间处理是你迟早必须使用的功能之一。因为在现实世界的大多数用例中,消息到达都是无序的,应该有一些方法,通过你建立的系统知道消息可能延迟到达,并且有相应的处理方案。在这篇博文中,我们将看到为什么我们需要事件时间处理,以及我们如何在ApacheFlink中使用它。 EventTime是事件在现实世界中发生的时间,ProcessingTime是Flink系统处...转载 2019-08-26 15:44:04 · 263 阅读 · 0 评论 -
Flink 小贴士 (7): 4个步骤,让 Flink 应用达到生产状态
原文:https://data-artisans.com/blog/4-steps-flink-application-production-ready 作者:Nico Kruber, Markos Sfikas 译者:云邪(Jark) 本文阐述了使 Flink 应用达到生产就绪状态所需要的一些配置步骤。在以下部分中,我们概述了重要的配置参数,这些参数是技术领导、DevOps、工程师们在将 ...转载 2019-09-16 11:10:39 · 718 阅读 · 0 评论 -
Flink小贴士 (1):确定Flink作业所需资源大小时要考虑的6件事
原文:https://data-artisans.com/blog/6-things-to-consider-when-defining-your-apache-flink-cluster-size 作者:Fabian Hueske 译者:云邪(Jark) 在 Apache Flink 社区中被经常问及的一件事是:如何规划和计算一个 Flink 集群的大小(或者说如何确定一个 Flink 作...转载 2019-09-16 11:13:44 · 1257 阅读 · 0 评论 -
Flink 小贴士 (2):Flink 如何管理 Kafka 消费位点
在本篇《Flink 小贴士》中,我们将结合例子逐步讲解 Apache Flink 是如何与 Apache Kafka 协同工作并确保来自 Kafka topic 的消息以 exactly-once 的语义被处理。 检查点(Checkpoint)是使 Apache Flink 能从故障恢复的一种内部机制。检查点是 Flink 应用状态的一个一致性副本,包括了输入的读取位点。在发生故障时,Flink...转载 2019-09-16 11:39:32 · 237 阅读 · 0 评论