Apache Flink 1.10 Documentation
模式说明
为了防止 Standalone 集群中的 JobManager
单点故障,因此对 JobManager
高可用,当 node1
中的 JobManager
宕机后,通过 Zookeeper
完成高可用的切换
安装准备
① 环境准备
云服务器 3 台
node1/172.17.0.8 | node2/172.17.30.12 | node3/172.17.30.26 |
---|---|---|
Master + Slave | Master + Slave | Slave |
Zookeeper | Zookeeper | Zookeeper |
NodeManager + DataNode | DataNode | DataNode |
② 下载安装包
Apache Flink:flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
Apache Flink: Downloads: flink-1.10.0-bin-scala_2.11.tgz
注意:本博客基于 Flink 1.10
版本安装
# 版本说明
# 1.10.0 是 flink 的版本,2.11 是 scala 的版本
flink-1.10.0-bin-scala_2.11.tgz
③ Hadoop 环境
④ Zookeeper 环境
提前搭建好 Zookeeper 环境
安装配置
① 上传解压(3台都操作)
cd /opt/server
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz
ln -s /opt/server/flink-1.10.0 /opt/server/flink
② 修改 flink-conf.yaml
(3台都操作)
cd /opt/server/flink/conf
vim flink-conf.yaml
# 修改以下内容
jobmanager.rpc.address: node1
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://node1:8020/flink-checkpoints
state.savepoints.dir: hdfs://node1:8020/flink-savepoints
high-availability: zookeeper
high-availability.storageDir: hdfs://node1:8020/flink-ha/
high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181
③ 修改 masters
(3台都操作)
cd /opt/server/flink/conf
vim masters
# 增加以下内容
node1:8081
node2:8081
④ 修改 slaves
(3台都操作)
cd /opt/server/flink/conf
vim slaves
# 增加以下内容
node1
node2
node3
⑤ 修改 flink-conf.yaml
( node2 操作 )
cd /opt/server/flink/conf
vim flink-conf.yaml
# 修改以下内容
jobmanager.rpc.address: node2
⑥ 配置环境变量(3台都操作)
vim /etc/profile
# 增加以下内容
export HADOOP_CONF_DIR=/opt/server/hadoop-2.7.5/etc/hadoop
# 刷新环境变量
source /etc/profile
⑦ 上传 Flink
的 Hadoop
依赖 Jar
包(3台都操作)
# 上传至 $FLINK_HOME/lib 目录
/opt/server/flink/lib
启动测试
① 启动 HDFS
集群(任意一台都操作)
# node1 中执行即可
hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode
② 启动 Flink
集群(任意一台都操作)
# node1 中执行即可
cd /opt/server/flink
bin/start-cluster.sh
③ 查看 WEB-UI 页面