目录
一、运行模式概述
Flink支持多种安装模式
- Local—本地单机模式,学习测试时使用
- Standalone—独立集群模式,Flink自带集群,开发测试环境使用
- StandaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用
- Flink On Yarn—计算资源统一由Hadoop YARN管理,生产环境使用
本文主要演示Flink On Yarn模式的安装部署。
在实际开发中,使用Flink时,更多的使用方式是Flink On Yarn模式,原因如下:
-1.Yarn的资源可以按需使用,提高集群的资源利用率
-2.Yarn的任务有优先级,根据优先级运行作业
-3.基于Yarn调度系统,能够自动化地处理各个角色的 Failover(容错)
○ JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控
○ 如果 JobManager 进程异常退出,则 Yarn ResourceManager 会重新调度 JobManager 到其
本文详细介绍了Flink On Yarn模式的安装部署,包括运行模式概述、会话模式、单作业模式和应用模式的特点及应用场景。重点讨论了在Yarn上启动Flink会话、提交任务以及常见错误排障的方法。
订阅专栏 解锁全文
402

被折叠的 条评论
为什么被折叠?



