【大数据入门核心技术-Flink】（四）Flink安装部署-Flink On Yarn模式

目录

一、运行模式概述

二、两种运行模式

1、会话模式（Session模式）

2、单作业（Per-Job）模式

3、应用（Application）模式

三、安装部署

四、测试

1、Session模式

2、Per-Job分离模式

3、应用模式

五、错误排障

---

一、运行模式概述

Flink支持多种安装模式

- Local—本地单机模式，学习测试时使用
- Standalone—独立集群模式，Flink自带集群，开发测试环境使用
- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用
- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用

本文主要演示Flink On Yarn模式的安装部署。

在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：

-1.Yarn的资源可以按需使用，提高集群的资源利用率

-2.Yarn的任务有优先级，根据优先级运行作业

-3.基于Yarn调度系统，能够自动化地处理各个角色的 Failover(容错)

○ JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控

○ 如果 JobManager 进程异常退出，则 Yarn ResourceManager 会重新调度 JobManager 到其他机器

○ 如果 TaskManager 进程异常退出，JobManager 会收到消息并重新向 Yarn ResourceManager 申请资源，重新启动 TaskManager