本文介绍了Apache Flink的发展历史、Flink 1.X的架构组成以及分布式执行过程。Flink起源于Stratosphere研究项目，其架构包括deploy、core processing和APIs组件。在分布式执行过程中，涉及Job Manager、Task Manager和Job Client等关键角色，实现了高效的流处理和容错机制。
一、发展历史
Flink起源于一个名为Stratosphere的研究项目，目的是建立下一代大数据分析平台，于2014年4月16日成为Apache孵化器项目。Stratosphere的最初版本是基于Neffele的研究论文。下面的图表显示了Stratosphere随时间的演化：
二、Flink架构
Flink1.X的架构包括各种组件，比如deploy，core processing和APIs。下图展示了各种组件：
Flink具有分层结构，其中每个组件是特定层的一部分。每层建立在其他的顶部，用于清晰的抽象。Flink被设计为可以在local、yarn以及cloud上运行。Runtime是Flink的核心数据处理引擎，通过以JobGraph形式的APIs接收program，JobGraph是一个简单的并行数据流。
DataStrame和DataSet API是程序员可以用来定义Job的接口。在编译程序时，这些API会生成JobGraph。一但编译后，DataSet API允许优化器生成最佳执行计划。然后根据部署模型将优化的JobGraph提交给执
最低0.47元/天 解锁文章
扫一扫
1186
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
