flink standalone高可用集群搭建

背景介绍

Flink standalone模式高可用集群，有一个 JobManager 作为备用，当主 JobManager 宕机之后，备用 JobManager 顶上，等宕机的 JobManager 恢复之后，又变成备用。

安装步骤

第一步：jdk安装

$tar zxvf jdk.tgz $cp -r java /usr $vi /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_232-cloudera export PATH=$PATH:$JAVA_HOME/bin $source /etc/profile

第二步：Flink源码包解压

$tar –zxvf flink-1.15.3-bin-scala_2.12.tgz $cp –r flink-1.15.3 flink

第三步：配置参数

$vim flink-1.15.3/conf/flink-conf.yml // 配置masterIP(可以指定当前服务器IP) jobmanager.rpc.address: node21 // 配置 master 与 worker内部通信端口 jobmanager.rpc.port: 6123 //zk配置 high-availability: zookeeper high-availability.zookeeper.quorum: node20:2181,node21:2181,node22:2181 high-availability.storageDir: file:hdfs:///flink/ha/ $vim flink-1.15.3/conf/workers node20 node21 node22 $vim flink-1.15.3/conf/masters node21:8081 node22:8081

第四步：文件分发

scp -r flink root@node20:/opt/apache/flink/ scp -r flink root@node22:/opt/apache/flink/ #如果只修改单个文件 scp flink-conf.yaml root@node21:/opt/apache/flink/conf/ scp flink-conf.yaml root@node22:/opt/apache/flink/conf/

特备注意：在配置文件flink-conf.yaml中，需要把所有localhost改为0.0.0.0，负责会出现集群无法启动，界面显示不正常等情况，参考如下所示：

第五步：启动集群

$ bin/start-cluster.sh

第五步：检查web端查看