Flink学习（二）：集群部署

最新推荐文章于 2024-07-24 11:58:44 发布
最新推荐文章于 2024-07-24 11:58:44 发布
阅读量431 收藏
点赞数
分类专栏： Flink 文章标签： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010670411/article/details/103769270
版权
本文详细介绍了Flink的集群部署，包括独立集群和Flink on YARN模式。独立集群需要配置Master和Slave节点，通过修改flink-conf.yaml和slaves文件。Flink on YARN模式则涉及动态配置、资源管理和高可用设置。同时讨论了YARN会话启动选项，如JobManager和TaskManager内存配置。高可用模式下，Flink依赖Zookeeper和HDFS，确保JobManager的容错能力。
摘要由CSDN通过智能技术生成

 

Flink可以有多种集群模式，例如独立集群、on YARN、Docker、AWS等。

对于独立集群模式，需要有至少两台独立的机器（物理机、虚拟机或者Docker/K8s等容器），其中一台作为Master，剩下的作为Slave，或者称为Worker。

首先需要修改配置文件 conf/flink-conf.yaml，将jobmanager.rpc.address修改为Master机器的地址，然后修改conf/slaves文件，将其他机器的地址写进去，我这边想尝试修改成

localhost:8082
localhost:8083

但是运行start-cluster.sh脚本时提示找不到Slave节点，没办法尝试单机集群，不过可以多次运行start-cluster.sh脚本，启动多个TaskManager。

这里有三个Task Slot，代表集群具有的并发能力。也可以单独运行jobmanager.sh或taskmanager.sh，单独添加JobManager或TaskManager：

  • bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
  • bin/taskmanager.sh start|start-foreground|stop|st
最低0.47元/天 解锁文章
hbyangland
关注
专栏目录
Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用
howard2005的专栏
04-20 1311
搭建Flink on Yarn集群，几种方式运行Flink应用
【Flink系列】部署篇（一）：Flink集群部署
m0_37935211的博客
01-12 4283
Flink集群是由哪些组件组成的？它们彼此之间如何协调工作的？ 在Flink中job, task, slots,parallelism是什么意思？集群中的资源是如何调度和分配的？ 如何搭建一个Flink集群？如何配置高可用服务？如何使用外部文件系统？
Flink 集群部署
m0_72168501的博客
03-13 1645
Flink 环境部署
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 3044
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
flink集群部署
huashetianzu的专栏
05-22 169
flink集群配置： 修改flink-conf.yaml jobmanager.rpc.address: centos2 masters文件： centos2:8081 workers文件： centos2 centos3
flink 集群部署
qq_34304427的博客
11-15 491
但是，该模式下，如果集群中的一个作业行为不正常或导致 TaskManager 宕机，则在该 TaskManager 上运行的所有作业都将受到故障的影响。该模式下，集群管理框架 YARN 会为每个提交的作业启动一个单独Flink集群，该集群仅对该作业可用。Application 模式为每个提交的作业创建一个集群，但作业的main 方法将在 JobManager 上执行，以节省提取 job graph 所需的 CPU 周期，也节省客户端下载依赖及将 job graph 及其依赖关系传送到群集所需的带宽。
Flink集群环境部署
weixin_38813363的博客
02-03 119
1.1 基础环境 jdk1.8及以上【配置JAVA_HOME环境变量】 ssh免密码登录【集群内节点之间免密登录】 1.2 安装包下载 配套资料文件夹中提供，使用Flink1.11.1版本 1.3 集群规划 linux123: JobManager+TaskManager linux121:TaskManager linux122:TaskManager 1.4 standalone模式部署 将安装包上传并解压 tar -zxvf /opt/lagou/software/flink-1.11.1-bin-s
flink-study:flink学习和演示
03-29
**Flink学习与演示项目详解** 该项目名为"flink-study"，主要目的是为了学习和演示Apache Flink的使用。Apache Flink是一个流行的开源流处理框架，它支持实时数据流和批处理作业，具备高吞吐量、低延迟以及状态管理...
flink-samples:Flink样本
04-29
10. **部署与运行**：在本地环境、YARN 或 Kubernetes 集群上运行 Flink 作业的方法。 通过研究这些示例，开发者可以深入理解 Flink 的工作原理，并将其应用于实际的数据处理项目中。同时，这些示例还展示了如何...
Flink 1.9.1 Standalone 集群部署.pdf
11-19
本文档主要讲解Flink Standalone模式的集群的安装部署方法。此外，还包含了集群启停、任务提交、查看日志、执行自定义流处理程序等扩展主题。文档力求内容详实、步骤清晰，使读者阅后即可百分百掌握，不留疑问，轻松...
Flink集群部署
lixinkuan的博客
01-19 761
一、standalone模式 1.1、安装 下载文件：Apache Flink 1.7.2 with Hadoop® 2.6 for Scala 2.12(asc,sha512) 解压缩：tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.12.tgz 修改flink/conf/flink-conf.yaml 文件 修改 /conf/slav...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值