Flink 集群配置部署

本文详细介绍了Flink集群的两种部署模式:standalone模式和高可用集群模式。standalone模式中,详细阐述了从下载Flink到配置各节点、设置互信以及启动集群的步骤。在高可用集群模式下,通过Zookeeper和Hadoop的配合,实现了JobManager的故障转移,确保了集群的高容错和可用性。
摘要由CSDN通过智能技术生成

部署模式一:

 

standalone模式:

规划:185-187三台centos7主机,185作为JobManager,186和187作为TastManager

1.下载flink-1.7.1-bin-scala_2.12.tgz,不要下带hadoop依赖库版本。

2.解压

3.配置flink-1.7.1/conf/flink-conf.yaml,配置说明:

##################################

jobmanager.rpc.address: 162.168.1.185

# The RPC port where the JobManager is reachable.

jobmanager.rpc.port: 6123


# The heap size for the JobManager JVM

jobmanager.heap.size: 10240m


# The heap size for the TaskManager JVM

taskmanager.heap.size: 10240m


# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.每个TastManager插槽数

taskmanager.numberOfTaskSlots: 12

# The parallelism used for programs that did not specify and other parallelism.默认并行度

parallelism.default: 12

#临时目录
io.tmp.dirs: /home/flink/tmp

 

4.配置flink-1.7.1/conf/master,就是JobManager节点IP/HOST : port<

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值