【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程

最新推荐文章于 2024-09-10 15:38:38 发布

JasonLee实时计算

最新推荐文章于 2024-09-10 15:38:38 发布

阅读量6.6k

点赞数 9

分类专栏： Flink 实战系列文章标签： flink on yarn HA yarn-session

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/83958673

版权

Flink 实战系列专栏收录该内容

69 篇文章 474 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文详细介绍了如何搭建Flink 1.11.1 on Yarn集群，包括配置flink-conf.yaml文件，启动yarn-session模式和单个任务模式。讲解了Flink on Yarn的两种部署方式，重点讨论了资源分配和任务调度，并提供了启动命令示例。

摘要由CSDN通过智能技术生成

前面一篇博客中已经搭建了flink Standalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务,之前搭建Flink on yarn的时候用的还是1.6.0的版本,现在Flink已经release到1.11.1了,所以就把文章更新一下,其实Flink on yarn的搭建非常的简单,只需要随便找一台yarn上的节点当做是Flink的client就可以提交任务了.任务的调度是交给yarn来管理的,Flink只需要提供一个客户端就行了.

版本信息:

flink-1.11.1

zookeeper-3.4.10

hadoop-2.9.0

zk和hadoop集群的搭建,今天这里就不说了,主要说一下flink的.

(1). vi flink-conf.yaml (里面具体的参数大小可以根据自己的机器实际情况而定)我配置的比较简单有的配置可能已经变了,需要改成最新的配置.

env.java.home: /home/jason/bigdata/jdk/jdk1.8.0_11
jobmanager.rpc.address: master
taskmanager.heap.size: 4096
taskmanager.numberOfTaskSlots: 4
#parallelism.default: 8
taskmanager.tmp