linux启动flink集群,flink1.10 Linux 集群安装

1.官网下载jar包：

2.上传jar包并且解压：

3.进入/flink-1.10.1/conf/flink-conf.yaml

配置修改以下参数：

1)jobmanager.rpc.address: 此处添加master节点的localhost

其余参数根据自己机器自行配置，我粘贴一下默认值和说明

2)jobmanager.heap.size:1024m  --每一个jobmanage可用的内存

3)  taskmanager.memory.process.size: 1728m --每一个taskmanager可用的内存

4)taskmanager.numberOfTaskSlots:4 --每个机器所能用的CPUs

5)io.tmp.dirs:/tmp --用于存放运算过程中的临时目录

4.进入/flink-1.10.1/conf/slaves

1)添加自己集群的slaves 例如：

192.168.1.102

192.168.1.103

192.168.1.104

5.写一个分发脚本将flink分发到各个节点。

======================================================================================

脚本：

#!/bin/bash

if[ $# -lt 1 ]

then

echo Not Enough Arguement!

exit;

fi

#2.遍历集群所有机器

for host in 此粗写你的节点例如(hadoop102 Hadoop103 Hadoop104)

do

echo ========================= 　$host    ================================

#3.遍历所有目录，挨个发送

for file in $@

do

#4 判断文件是否存在

if [ -e $file ]

then

#5.获取父目录

pdir=$(cd -P ${dirname $file}; pwd)

fname=${basename $file}

ssh $host "mkdir -p $pdir"

rsync -av $spdir/$fname $host:$pdir

else

echo $file does not exists!

fi

done

done

======================================================================================

6.在master上面输入启动命令开启集群：

bin/start-cluster.sh

7.访问ui界面：localhost:8081

8.关闭集群：

stop-cluster.sh