Flink集群搭建教程

前言

本次教程使用了三台主机分别是bigdata151、bigdata152、bigdata153。

下载

按照所需版本下载 比如scala版本 地址：https://flink.apache.org/downloads.html

解压

上传到服务器，解压。
tar -zxvf flink-1.12.2-bin-scala_2.12.tgz

修改配置文件

进入conf目录下，修改配置文件

1. 修改masters

   bigdata151:8081
   bigdata152:8081
   

2. 修改workers

   bigdata151
   bigdata152
   bigdata153
   

3. 修改flink-conf.yaml

   jobmanager.rpc.address: bigdata151
   
   jobmanager.rpc.port: 6123
   
   jobmanager.memory.process.size: 1600m
   
   taskmanager.memory.process.size: 3456m
   
   taskmanager.numberOfTaskSlots: 4
   
   parallelism.default: 1
   
   high-availability: zookeeper
   
   high-availability.storageDir: hdfs://nameservice1/opt/flink/ha/
   
   high-availability.zookeeper.quorum: bigdata151:2181,bigdata152:2181,bigdata153:2181
   
   state.backend: filesystem
   
   state.checkpoints.num-retained: 20
   
   state.checkpoints.dir: hdfs://nameservice1/opt/flink/checkpoints
   
   state.savepoints.dir: hdfs://nameservice1/opt/flink/savepoints
   
   jobmanager.execution.failover-strategy: region
   
   rest.bind-port: 8080-8090
   
   

4. 将flink整个文件夹拷贝到其他主机
   scp -r flink-1.12.2/ root@bigdata153:/opt

配置flink环境变量(三台主句修改/etc/profile)

export  FLINK_HOME=/opt/flink-1.12.2
export  PATH=$PATH:$FLINK_HOME/bin
source  /etc/profile

启动flink集群