Flink 的系统架构是怎样的？

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

Client

Flink 作业在哪台机器上面提交，那么当前机器称之为Client。

用户开发的Program 代码，它会构建出DataFlow graph，然后通过Client提交给JobManager。

JobManager

主（master）节点，相当于YARN里面的ResourceManager，生成环境中一般可以做HA 高可用。

JobManager会将任务进行拆分，调度到TaskManager上面执行。

TaskManager

从节点（slave），TaskManager才是真正实现task的部分。

通信

Client -> JobManager

Client提交作业到JobManager，就需要跟JobManager进行通信，它使用Akka框架或者库进行通信，另外Client与JobManager进行数据交互，使用的是Netty框架。

Akka通信基于Actor System，Client可以向JobManager发送指令，比如Submit job或者Cancel /update job。

JobManager -> Client

JobManager也可以反馈信息给Client，比如status updates，Statistics和results。

JobManager -> TaskManager

Client提交给JobManager的是一个Job，然后JobManager将Job拆分成task，提交给TaskManager（worker）。

JobManager与TaskManager也是基于Akka进行通信，JobManager发送指令，比如Deploy/Stop/Cancel Tasks或者触发Checkpoint，反过来TaskManager也会跟JobManager通信返回Task Status，Heartbeat（心跳），Statistics等。

TaskManager1 -> TaskManager2

另外TaskManager之间的数据通过网络进行传输，比如Data Stream做一些算子的操作，数据往往需要在TaskManager之间做数据传输。

总结

当Flink系统启动时，首先启动JobManager和一至多个TaskManager。

JobManager负责协调Flink系统，TaskManager则是执行并行程序的worker。

当系统以本地形式启动时，一个JobManager和一个TaskManager会启动在同一个JVM中。

当一个程序被提交后，系统会创建一个Client来进行预处理，将程序转变成一个并行数据流的形式，交给JobManager和TaskManager执行。