Flink1.10从0到1：（三）安装和部署

一、介绍

        Flink 的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不以修改任何参数，一般在做一些简单测试的时候使用。

集群模式包含：

        Standalone

        Flink on Yarn

        Mesos

        Docker

        Kubernetes

        AWS

        Goole Compute Engine

目前在企业中使用最多的是 Flink on Yarn 模式。但好多公司Yarn是基于CDH部署的。

二、集群基本架构

        Flink 整个系统主要由两个组件组成，分别为 JobManager 和 TaskManager，Flink 架构 也遵循 Master-Slave 架构设计原则，JobManager 为 Master 节点，TaskManager 为 Worker（Slave）节点。所有组件之间的通信都是借助于 Akka Framework，包括任务的状态以及Checkpoint 触发等信息。

 

        干货：JobManager可以类比Spark的Application Master

 

Flink任务运行流程图

1) Client 客户端

        客户端负责将任务提交到集群，与 JobManager 构建 Akka 连接，然后将任务提交到JobManager，通过和 JobManager 之间进行交互获取任务执行状态。客户端提交任务可以采用 CLI 方式或者通过使用 Flink WebUI 提交，也可以在应用程序中指定 JobManager 的 RPC网络端口构建 ExecutionEnvironment 提交 Flink 应用。

2) JobManager

        JobManager 负责整个 Flink 集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中 TaskManager 上 TaskSlot 的使用情况，为提交的应用分配相应的TaskSlots 资源并命令 TaskManger 启动从客户端中获取的应用。JobManager 相当于整个集群的 Master 节点，且整个集群中有且仅有一个活跃的 JobManager，负责整个集群的任务管理和资源管理。JobManager 和 TaskManager 之间通过 Actor System 进行通信，获取任务执行的情况并通过 Actor System 将应用的任务执行情况发送给客户端。同时在任务执行过程中，Flink JobManager 会触发 Checkpoints 操作，每个 TaskManager 节点收到Checkpoint触发指令后，完成 Checkpoint 操作，所有的 Checkpoint 协调过程都是在 Flink JobManager中完成。当任务完成后，Flink 会将任务执行的信息反馈给客户端，并且释放掉 TaskManager中的资源以供下一次提交任务使用。

3) TaskManager

        TaskManager 相当于整个集群的 Slave 节点，负责具体的任务执行和对应任务在每个节点上的资源申请与管理。客户端通过将编写好的 Flink 应用编译打包，提交到 JobManager，然后 JobManager 会根据已经注册在 JobManager 中 TaskManager 的资源情况，将任务分配给有资源的 TaskManager 节点，然后启动并运行任务。TaskManager 从 JobManager 接收需要部署的任务，然后使用 Slot 资源启动 Task，建立数据接入的网络连接，接收数据并开始数据处理。同时 TaskManager 之间的数据交互都是通过数据流的方式进行的。可以看出， Flink 的任务运行其实是采用多线程的方式，这和 MapReduce 多 JVM 进程的方式有很大的区别 Fink 能够极大提高 CPU 使用效率，在多个任务和 Task 之间通过 TaskSlot方式共享系统资源，每个 TaskManager 中通过管理多个 TaskSlot 资源池进行对资源进行有效管理。

 

三、安装和部署

1）Standalone 集群安装和部署

        网上教程很多在此不再赘述。

2）Flink On Yarn（Apache 原生版）

        网上教程很多在此不再赘述。

3）Flink On Yarn（基于Cloudera的版本）

        见本人另一篇文章《 CDH整合Flink1.10(小白教程)》

PS：本人基于Flink On Yarn（基于Cloudera的版本）进行讲解阐述，不同版本也没有什么区别，只是安装部署有所不同。

感悟：

        一个人只要知道自己去哪里，全世界都会给他让步