Flink安装及配置

Flink安装及配置

搭建单机模式

1.下载Flink，要匹配自己的hadoop版本和Scala版本

2.将Flink上传到虚拟机中解压

tar -zxvf flink-1.7.2-bin-hadoop28-scala_2.11.tgz

3.配置环境变量 vi /etc/profile

#Filnk-1.7.2
export FLINK_HOME=/root/apps/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin

4.启动单机模式

到flink的bin目录下

./start-cluster.sh
配置环境变量直接执行
start-cluster.sh

5.启动成功

启动成功会出现StandaloneSessionClusterEntrypoint

网页访问hdp-1:8081会进入Flink页面

搭建集群模式

1.到flink/conf目录下修改flink-conf.yaml masters slaves三个文件

flink-conf.yaml

//将之前的localhost修改为你master机器的ip地址
jobmanager.rpc.address: hdp-1
//默认为1  TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
//默认为1  并行计算的个数
parallelism.default: 4

masters StandaloneSessionClusterEntrypoint启动的机器

hdp-1:8081

slaves TaskManagerRunner启动的机器

hdp-1
hdp-2
hdp-3

2.将flink分发给其它机器

scp -r flink-1.7.2 hdp-2:/root/apps
scp -r flink-1.7.2 hdp-3:/root/apps

3.分别配置其他机器的环境变量

#Filnk-1.7.2
export FLINK_HOME=/root/apps/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin

4.启动集群

到flink/bin中执行

./start-cluster.sh
配置环境变量直接执行
start-cluster.sh