本文介绍了Flink的分布式运行机制，包括Tasks和Operator Chains的优化、JobManagers与TaskManagers的角色、Task Slots和Resources的资源配置、State Backends的状态管理和Savepoints的使用。Flink通过任务链优化减少线程切换，Task Managers执行任务，Job Managers协调工作，Task Slots实现资源隔离，State Backends存储键值状态，Savepoints提供无状态更新能力。
基本概念
| 名称 | 含义 |
|---|---|
| Flink Application Cluster | Flink应用程序集群是专用的Flink集群，它仅执行一个Flink作业。Flink集群的生存期与Flink作业的生存期绑定在一起。与Flink Session Cluster比较，在工作模式下，以前的Flink应用程序集群也称为Flink集群 。 |
| Flink Cluster | 一个分布式系统，通常由一个Flink Master和一个或多个Flink TaskManager进程组成。 |
| Event | 事件是有关由Application建模的域的状态更改的声明。事件可以是流或批处理应用程序的输入和/或输出。事件是特殊类型的记录。 |
| ExecutionGraph | 参见 Physical Graph |
| Function | 功能由用户实现，并封装Flink程序的应用程序逻辑。大多数功能由相应的运算符包装 。 |
| Instance | 术语实例用于描述特定类型的（通常的特定实例 操作或功能在运行期间）。由于Apache Flink主要是用Java编写的，因此它对应于Java中的Instance或Object的定义。在Apache Flink的上下文中，术语“ 并行实例”也经常用来强调相同操作符或函数类型的多个实例正在并行运行。 |
| Flink Job | Flink作业是Flink程序的运行时表示形式。Flink作业既可以提交到长期运行的Flink Session Cluster，也可以作为独立的Flink Application Cluster启动。 |
| JobGraph | 参见 Logical Graph |
| Flink JobManager | JobManager是Flink Master中运行的组件之一。JobManager负责监督单个作业的任务执行。历史上，整个Flink Master都称为JobManager。 |
| Logical Graph | 逻辑图是描述流处理程序的高级逻辑的有向图。节点是运算符，边缘指示输入/输出关系或数据流或数据集。 |
| Managed State | 受管状态描述了已在框架中注册的应用程序状态。对于受管状态，Apache Flink将处理持久性和重新调整大小等问题。 |
| Flink Master | Flink Master是Flink群集的主机。它包含三个不同的组件：Flink资源管理器Resource Manager，F |
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
