Flink术语表（Glossary）

原文链接

 

Flink Application Cluster

        Flink应用程序集群是一个专用的Flink集群（Flink Cluster），它只执行一个Flink作业。Flink集群的生存期与Flink作业的生存期绑定。以前的Flink应用程序集群也称为作业模式下的Flink集群。与Flink会话集群相比。

 

Flink Cluster

        由一个Flink主进程（Flink Master ）和一个或多个Flink TaskManager进程组成的分布式系统。这里说的一个Flink Master是典型的Flink Cluster，对于实现HA的Flink Cluster，可以有多个Master，一个leader，其余是standby。

 

注：Flink Cluster就是我们通常所说的Flink集群，而Flink Application Cluster是与具体的job息息相关的。

 

Event

 

Flink Master

        Flink Master是Flink集群的主服务器。它包含三个不同的组件：Flink资源管理器（Resource Manager）、Flink调度器（ Flink Dispatcher）和Flink作业管理器（Flink JobManager）。

 

Flink JobManager

        JobManagers是在Flink主服务器中运行的组件之一。JobManager负责监督单个作业任务的执行。在历史上，整个Flink Master被称为JobManager。

 

Logical Graph

        逻辑图是描述流处理程序高级逻辑的有向图。节点是操作符，边表示操作符的输入/输出关系，并对应于数据流或数据集。

 

Operator

        逻辑图（Logical Graph）的节点。运算符执行某种操作，通常由函数执行。源和汇是数据摄入和数据出口的特殊操作符。

 

Flink Job

        Flink作业是Flink程序的运行时表示。Flink作业可以提交给长时间运行的Flink会话集群（Flink Session Cluster），也可以作为独立的Flink应用程序集群启动（ Flink Application Cluster）。

 

Sub-Task

        子任务是负责处理数据流的一个分区的任务。术语“子任务”强调同一个操作算子或操作算子链有多个并行任务。

 

Physical Graph

        物理图是在分布式运行时中转换逻辑图执行的结果。节点是任务，边表示输入/输出关系或数据流或数据集的分区。

 

Task

        物理图形的节点。任务是基本的工作单元，由Flink的运行时执行。任务恰好封装运算符或运算符链的一个并行实例。

 

Function

        函数由用户实现，并封装了Flink程序的应用逻辑。大多数函数都由相应的操作算子（Operator）包装。 

 

Transformation

        转换应用于一个或多个数据流（data streams）或数据集（data sets），并产生一个或多个输出数据流或数据集。转换可以以每个记录为基础更改数据流或数据集，但也可能只更改其分区或执行聚合。虽然操作算子（Operators）和函数（Functions ）是Flink API的“物理”部分，但转换只是一个API概念。具体地说，大多数转换是由某些操作算子实现的。