《基于 Apache Flink 的流处理》阅读笔记(二)
Apache Flink架构
-
运行时架构:四个JVM进程运行在不同的物理节点上
-
JobManager:
- 主进程控制单个应用程序执行,每个应用程序都有一个JobManager进行控制
- 包括:JobGraph(Dataflow图,执行时转化为物理Dataflow图)+ 类库资源的 JAR 包
- 根据物理 Dataflow 图(ExecutionGraph)向 ResourceManager 申请资源(就是槽 slots),然后分发运行
- 运行中协调操作,协调 checkpoint,协调恢复,至少要有一个 JobManager
-
TaskManager
-
工作进程;包含多个线程——slots 作为资源进行分配
-
slots 向 ResourceManager 注册,JobManager申请就能够分配
-
slots 对应着运行并行度
设置taskslot的时候推荐的就是设置为CPU的核数(虽然隔离的是内存,共享的是CPU,这样安排是因为避免各个slot之间共享CPU导致的CPU繁忙)
并行度parallelsim和slots的关系是动态和静态的关系:也就是说,例如三个taskmanager(一个taskm
-
-