前言
选择 flink 1.14.5原因是,支持java1.8的最高版本了。
集群 三节点,我的hostname分别是 h01、h02、h03,安装路径是/opt/module/
将flink解压到自己想到的目录
tar zxvf flink-1.14.5-bin-scala_2.11.tgz -C /opt/module/
创建连接,方便多个版本时的管理,无需多次配置环境变量(在另外两台机器上也建立连接)
cd /opt/module/
ln -s flink-1.14.5/ flink
# 我有多个flink版本,通过连接控制一个版本作为主版本
编辑 /etc/profile,三台机器均要配置 FLINK_HOME
sudo vim /etc/profile
将以下内容添加进/etc/profile,HOME 路径不要抄作业!!!根据自己的来
# FLINK_HOME
export FLINK_HOME=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=`hadoop classpath`
生效刷新/etc/profile
source /etc/profile
配置flink的conf文件
cd /opt/module/flink
vim ./conf/flink-conf.yaml
改./conf/flink-conf.yaml文件的以下几个内容,(我master是h01不要抄作业)
jobmanager为h01,设置两个插槽slot,并行度设置为2(slot、并行度看自己的需要)。
jobmanager.rpc.address: h01
taskmanager.numberOfTaskSlots: 2
parallelism.default: 2
:wq保存文件
改vim ./conf/masters文件。(我master是h01不要抄作业)
vim ./conf/masters
内容改为:
h01:8081
改vim ./conf/masters文件。
vim ./conf/workers
内容为:不要抄作业 h02、h03根据自己的来
h02
h03
然后scp分发flink文件夹
scp -r /opt/module/flink liang@h02:/opt/module
scp -r /opt/module/flink liang@h03:/opt/module
启动集群模式
./bin/start-cluster.sh
# Starting cluster.
# Starting standalonesession daemon on host h01.
# Starting taskexecutor daemon on host h02.
# Starting taskexecutor daemon on host h03.
访问web ui http://h01:8081/ 网址为master的hostname+ip8081,不要抄作业
至此 flink1.14 的独立集群模式配置完成。