1.安装flink-1.12.2

FLINK on YARN模式

解压安装包:

tar -zvxf  flink-1.12.2-bin-scala_2.11.tgz /opt/

修改yarn配置,设置application master重启时尝试的最大次数(cdh内有此参数,默认是2):

<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>10</value>
<description>
The maximum number of application master execution attempts.
</description>

配置flink-conf.yaml文件(有些配置已存在,只需要修改参数)

cd /opt/flink-1.12.2/conf/
vi flink-conf.yaml

taskmanager.memory.process.size: 8192m
taskmanager.memory.managed.fraction: 0.2	
jobmanager.memory.process.size: 2048m
taskmanager.numberOfTaskSlots: 3
cluster.evenly-spread-out-slots: true
parallelism.default: 10

high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha
high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181
high-availability.zookeeper.path.root: /flink

yarn.application-attempts: 5
rest.port: 8085
web.submit.enable: true
io.tmp.dirs: /tmp

classloader.resolve-order: parent-first
classloader.check-leaked-classloader: false

state.backend: rocksdb
execution.checkpointing.interval: 30000
state.checkpoints.dir: hdfs:///flink/checkpoints
state.checkpoints.num-retained: 10
state.savepoints.dir: hdfs:///flink/savepoints
state.backend.incremental: true

historyserver.web.port: 8082
historyserver.archive.fs.refresh-interval: 10000

jobmanager.execution.failover-strategy: region

修改zoo.cfg:

vi zoo.cfg

#添加zookeeper集群
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

配置环境变量:

vi /etc/profile

export FLINK_HOME=/opt/flink-1.12.2
export PATH=$FLINK_HOME/bin:$PATH
export HADOOP_CLASSPATH=`hadoop classpath`
source /etc/profile

测试

FLINK on YARN示例:
yarn-session模式:

#启动成功后,在yarn集群查看,名字是test
bin/yarn-session.sh -nm test  -d  

#启动flinksql客户端	
bin/sql-client.sh embedded -s test 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据湖填坑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值