![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
Anokata
这个作者很懒,什么都没留下…
展开
-
Apache Flink流处理(一)
Apache Flink是一个分布式流处理器,它使用直接且富有表现力的API来实现有状态的流处理程序。它以容错的方式高效地大规模运行这类应用程序。Flink于2014年4月加入Apache软件基金会作为孵化项目,并于2015年1月成为顶级项目。从一开始,Flink就有一个非常活跃且不断增长的用户和贡献者的社区。到目前为止,已有超过350人参与了Flink的工作,它已经发展成为最成熟的开源流处理引擎...翻译 2018-11-26 14:39:53 · 1965 阅读 · 1 评论 -
Apache Flink流处理(二)
到目前为止,您已经了解了流处理如何解决传统批处理的限制,以及它如何支持新的应用程序和体系结构。您已经熟悉了开源的流处理空间的演变,并对Flink流应用程序有了简单的了解。在这一章,你将进入流世界中,并得到本书本书剩下部分所必要的基础知识。这一章仍然与Flink无关。它的目标是介绍流处理的基本概念并讨论流处理框架的需求。我们希望在阅读本章之后,您能够更好地理解流应用程序需求,并能够评估现代流处理...翻译 2018-11-27 23:24:52 · 897 阅读 · 0 评论 -
Apache Flink流处理(三)
上一章讨论了分布式流式处理的一些重要概念,如并行化、时间和状态。在本章中,我们将从高层次来对Flink的体系结构进行介绍,并描述Flink如何满足我们之前所讨论的流处理的各个需求方面。特别地,我们解释了Flink的处理架构和它的网络栈的设计。我们还将展示Flink如何处理流式应用程序中的时间和状态,并讨论了它的容错机制。本章提供了相关的基础信息,以便您可以成功地使用Apache Flink实现和操...翻译 2018-12-16 12:48:02 · 1508 阅读 · 0 评论 -
Apache Flink流处理(四)
是时候动手开发Flink应用程序了!在本章中,您将学习如何设置开发、运行和调试Flink应用程序的环境。我们将开始讨论所需的软件,并解释如何获得这本书的代码示例。使用这些示例,我们将展示Flink应用程序如何在IDE中执行和调试。 最后,我们将展示如何引导一个Flink Maven项目,该项目是新应用程序的起点。4.1 所需软件首先,让我们来讨论开发Flink应用程序所必需的软件。您可以在L...翻译 2018-12-16 16:38:25 · 444 阅读 · 0 评论 -
Apache Flink流处理(五)
本章介绍Flink的DataStream API的基本知识。我们展示了一个典型的Flink流应用程序的结构和组件,讨论了Flink的类型系统和支持的数据类型,并给出了数据和分区转换。下一章将讨论窗口操作符、基于时间的转换、有状态操作符和连接器。在阅读本章之后,您将了解如何实现具有基本功能的流处理应用程序。我们在代码示例中使用Scala,但是Java API基本上是类似的(将指出例外或特殊情况)。...翻译 2019-01-21 14:52:49 · 2895 阅读 · 0 评论 -
Apache Flink流处理(六)
在本章中,您将了解用于时间处理和基于时间的运算符的DataStream API方法,例如window。正如您在第2章中学到的,Flink中的基于时间的操作符【time-based operators】可以应用于不同的时间概念。在本章中,您将首先学习如何定义时间特征,时间戳和水印。 然后,您将了解ProcessFunction,这是一种低级转换,提供了对数据记录的时间戳和水印的访问,并可以注册计时...翻译 2019-08-23 17:26:28 · 308 阅读 · 1 评论