Apache Flink(二)
架构剖析
推荐阅读:https://ci.apache.org/projects/flink/flink-docs-release-1.9/concepts/runtime.html
Tasks&Operator Chains
“Oprator Chain”:将多个操作符合并到一个Task中,减少不必要的任务间网络通信。
“Task”:类似于Spark中Stage,将任务拆分成若干个阶段。
“SubTaks”:每个Task都有任务执行并行度,每个Task根据并行度拆分成若干个SubTask(等价于线程)
Operator Chain效果
Operator Chain关闭
Job Managers, Task Managers, Clients
JobManagers:称为Master,负责分布式任务调度,调度Task执行,协调checkpoint,实现故障恢复。
There is always at least one Job Manager. A high-availability setup will have multiple JobManagers, one of which one is always the leader, and the others are standby.
TaskManagers :称为Worker节点,负责执行Dataflow Graph(DAG)中SubTask,负责数据缓冲和交换。主动连接JobManager,声明自身状态信息和汇报应经分配的任务。
There must always be at least one TaskManager.
client :并不是运行时一个部分(和Spark Driver不同),负责生成或者发送dataflow给JobManager。
用户可以通过WebUI或者flink run运行代码
Task Slots & Resources
每个TaskManager是一个JVM进程,执行1~N个SubTask(等价线程),TaskSolts表示一个TaskManager所能接受的任务数,TaskSlot越多说明该节点结算能力越强。
Each task slot represents a fixed subset of resources of the TaskManager. A TaskManager with three slots, for example, will dedicate 1/3 of its managed memory to each slot. Slotting the resources means that a subtask will not compete with subtasks from other jobs for managed memory, but instead has a certain amount of reserved managed memory. Note that no CPU isolation happens here; currently slots only separate the managed memory of tasks.
TaskSlot会对计算节点内存进行均分,不同的Job持有不同TaskSlot,继而程序在运行时实现内存隔离。任意job在执行之前都必须分配额定数据的TaskSlot,这些TaskSlot和该job中最大的Task并行度相等。
- 不同Job间通过TaskSlot进行隔离
- 同一个Job的不同Task的SubTask之间可以共享slot
- 同一个Job的相同Task的SubTask之间不可以共享slot
资源隔离:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/#task-chaining-and-resource-groups
State Backends(状态后端)
Flink是一个有状态的计算框架,所有的计算状态数据存储在内存中或者是RocksDB中,这取决于state backend策略的选取。默认情况下Flink的backend状态数据存在JobManager的内存中,一般用作测试环境(数据集非常小)。如果在生产环境下一般会采取以下两种状态后端:filesysterm,rocksdb.由于流计算在JobManager的管理下会定期的进行checkpoint机制,存储计算的快照信息,快照信息会根据state backend后端实现,将状态数据持久化起来。
Savepoints&Checkpoint
Flink的流计算可以从savepoint进行恢复,savepoint使得程序在升级的时候,可以依然保持升级以前的计算状态。Checkpoint是由JobManager定期触发checkpoint机制,用于将计算状态存储在backend中,当完成了最新checkpoint之后,系统会自动删除older checkpoint数据。相比较于checkpoint而言,Savepoint是通过手动方式触发checkpoint,触发的结果不会被删除。