Flink 集群搭建 - Standalone HA 集群模式

Apache Flink 1.10 Documentation

模式说明

为了防止 Standalone 集群中的 JobManager 单点故障，因此对 JobManager 高可用，当 node1 中的 JobManager 宕机后，通过 Zookeeper 完成高可用的切换

安装准备

① 环境准备

云服务器 3 台

node1/172.17.0.8	node2/172.17.30.12	node3/172.17.30.26
Master + Slave	Master + Slave	Slave
Zookeeper	Zookeeper	Zookeeper
NodeManager + DataNode	DataNode	DataNode

② 下载安装包

Apache Flink：flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

Apache Flink: Downloads: flink-1.10.0-bin-scala_2.11.tgz

注意：本博客基于 Flink 1.10 版本安装

# 版本说明
# 1.10.0 是 flink 的版本，2.11 是 scala 的版本 
flink-1.10.0-bin-scala_2.11.tgz

③ Hadoop 环境

Hadoop 介绍及集群搭建

④ Zookeeper 环境

提前搭建好 Zookeeper 环境

zookeeper 集群搭建

安装配置

① 上传解压（3台都操作）

cd /opt/server
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz
ln -s /opt/server/flink-1.10.0 /opt/server/flink

② 修改 flink-conf.yaml （3台都操作）

cd /opt/server/flink/conf	
vim flink-conf.yaml

# 修改以下内容

jobmanager.rpc.address: node1

state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://node1:8020/flink-checkpoints
state.savepoints.dir: hdfs://node1:8020/flink-savepoints

high-availability: zookeeper
high-availability.storageDir: hdfs://node1:8020/flink-ha/
high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181

③ 修改 masters （3台都操作）

cd /opt/server/flink/conf	
vim masters

# 增加以下内容
node1:8081
node2:8081

④ 修改 slaves （3台都操作）

cd /opt/server/flink/conf
vim slaves

# 增加以下内容
node1
node2
node3

⑤ 修改 flink-conf.yaml （ node2 操作 ）

cd /opt/server/flink/conf	
vim flink-conf.yaml

# 修改以下内容
jobmanager.rpc.address: node2

⑥ 配置环境变量（3台都操作）

vim /etc/profile

# 增加以下内容
export HADOOP_CONF_DIR=/opt/server/hadoop-2.7.5/etc/hadoop

# 刷新环境变量
source /etc/profile

⑦ 上传 Flink 的 Hadoop 依赖 Jar 包（3台都操作）

# 上传至 $FLINK_HOME/lib 目录
/opt/server/flink/lib

启动测试

① 启动 HDFS 集群（任意一台都操作）

# node1 中执行即可
hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode

② 启动 Flink 集群（任意一台都操作）

# node1 中执行即可
cd /opt/server/flink
bin/start-cluster.sh

③ 查看 WEB-UI 页面