使用CDH6.3.2安装了hadoop集群,但是CDH不支持flink的安装,网上有CDH集成flink的文章,大都比较麻烦;但其实我们只需要把flink的作业提交到yarn集群即可,接下来以CDH yarn为基础,flink on yarn模式的配置步骤。
一、部署flink
1、下载解压
官方下载地址:Downloads | Apache Flink
注意:CDH6.3.2是使用的scala版本是2.11(可以去CHD中spark目录lib下,看一下scala版本),所以下载的flink也要scala_2.11版本的。
2、解压
cd /data/softs tar -zxvf flink-1.14.5-bin-scala_2.11.tgz
#修改名称
mv softs/flink-1.14.5 /data/flink-yarn
3、修改flink配置
vim conf/flink-conf.yaml
#配置java环境变量
env.java.home: /usr/local/jdk1.8.0_281/
#以下为高可用配置
yarn.application-attempts: 3
high-availability: zookeeper
high-availability.storageDir: hdfs://master1:8020/flink/yarn/ha
high-availability.zookeeper.quorum: master1:2181,node1:2181,node2:2181
high-availability.zookeeper.path.root: /flink-yar

最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



