Apache Flink 1.14.4 on yarn ha环境搭建

Flink支持多种安装模式

  • Local—本地单机模式,学习测试时使用

  • Standalone—独立集群模式,Flink自带集群,开发测试环境使用

  • StandaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用

  • On Yarn—计算资源统一由Hadoop YARN管理,生产环境使用

本章将跳过local standaloneha等,如有需要请自行百度

配置文件

vim flink-1.14.4/conf/flink-conf.yaml

#开启网页提交任务
web.submit.enable: true
jobmanager.rpc.address: master
#自行选择
taskmanager.numberOfTaskSlots: 1

classloader.check-leaked-classloader: false

#zookeeper
high-availability: zookeeper
#开启HA,使用文件系统作为快照存储
state.backend: filesystem
#启用检查点,可以将快照保存到HDFS
state.backend.fs.checkpointdir: hdfs://master:9000/flink-checkpoints
high-availability.zookeeper.quorum: master:2181,node1:2181,node2:2181
high-availability.zookeeper.path.root: /flink
high-availability.storageDir: hdfs://master:9000/flink/recovery
其他有需要的配置文件按需更改

vim flink-1.14.4/conf/masters

master:8081
node2:8081

vim flink-1.14.4/conf/workers

node1
node2

关闭yarn的内存检查


<!-- 关闭yarn内存检查 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

说明:

是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。

在这里面我们需要关闭,因为对于flink使用yarn模式下,很容易内存超标,这个时候yarn会自动杀掉job

yarn集群要重启

分发flink

分发完成之后要在node2里面改下配置文件flink-conf.yaml

vim flink-1.14.4/conf/flink-conf.yaml
 
jobmanager.rpc.address: node2

开启zookeeper集群,执行flink example测试

采用per-job的方式提交任务到yarn
flink run -m yarn-cluster /apps/flink-1.14.4/examples/streaming/TopSpeedWindowing.jar

在这里插入图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值