Flink1.12 flink-conf.yaml配置

本文详细介绍了Flink 1.12的配置文件flink-conf.yaml,包括配置定位、注意事项、参数解析,并重点讲解了Flink的高可用配置,如Zookeeper集群设置、YARN应用尝试次数、JobManager和TaskManager的配置等,旨在帮助读者理解如何在大数据环境中确保Flink作业的稳定运行。
摘要由CSDN通过智能技术生成

1.配置及注释

1.1定位

flink-conf.yaml是flink的配置文件,优先级在代码和提交参数之后是通用配置

1.2注意点

flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格,否则配置不会生效。

1.3参数解析

#==============================================================================

# 集群通用配置

#==============================================================================

# Jobmanager的地址,taskmanager必须要识别并能连上。

# 只有standalone的集群模式起作用,当执行bin/jobmanager.sh --host<hostname>的时候将被覆盖

# 在YARN或者Mesos的集群模式下将自动替换为jobmanager所在节点的hostname.

jobmanager.rpc.address: 

# jobmanager的RPC端口,和taskmanger通信端口

jobmanager.rpc.port: 6123

# JobManager能够使用的内存的最大值,包括Java虚拟机的metaspace和其他的开销;

jobmanager.memory.process.size: 1g

# taskmanager 能够使用的最大内存大小,包括Java虚拟机的metaspace和其他的开销;

taskmanager.memory.process.size: 4g

# 每个TaskManager提供的slot数量,每个slot上能运行一个并行的pipeline任务。

taskmanager.numberOfTaskSlots: 4

# 没有指定并行度的情况下,默认的全局并行度

parallelism.default: 8

#==========================================================&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值