Flink集群搭建

一、下载与解压

下载地址：https://flink.apache.org/zh/downloads.html
注意：下载的版本要与自己的scala版本一致，我想要下最新的1.12版本，我安装的scala版本为2.11，所以要下载1.12版本对应scala2.11版本的flink

---

将安装包传到虚拟机中，先传到主节点上，等配置完后再发送给从节点

---

tar -zxvf flink-1.12.0-bin-scala_2.11.tgz

二、配置Flink

我一共使用三台虚拟机，其中主节点的主机名为master，从节点的主机名分别为slave1和slave2

1.设置环境变量

vim /etc/profile

export FLINK_HOME=/usr/local/flink-1.12.0
export PATH=$FLINK_HOME/bin:$PATH

---

使环境变量生效

source /etc/profile

2.配置flink-conf.yaml

cd /usr/local/flink-1.12.0/conf

下面配置的是standlone模式

vim flink-conf.yaml

这里jobmanager.rpc.address设置为主节点的IP或者主机名，端口默认为6123，如果冲突可以自己调整

jobmanager.rpc.address: master
jobmanager.rpc.port: 6123

3.配置masters

vim masters

设置为自己的主机名或者IP

4.配置workers

vim workers

同样的使用从节点的主机名或者IP

三、将Flink同步到从节点

scp -r link-1.12.0 root@slave1:/usr/local

scp -r flink-1.12.0 root@slave2:/usr/local

然后对两个从节点按照主节点同样的操作配置环境变量

四、启动Flink集群

start-cluster.sh

主节点

从节点

---

进去web界面（默认端口为8081）

可以看到有两个Task Managers，就是上面配置的两个从节点

---

点击可以查看详细信息

---

关闭集群

五、提交任务

1.以UI的方式提交

提交任务

---

运行成功

---

可以看到运行的wordcount结果

2.命令行提交

这里输入和输出路径最好是使用hdfs路径，能保证集群中的机器都能访问到，我这里使用的是本地提交，因为输入文件和输出路径在我的虚拟机上都存在，这里只是测试，在真正使用的时候一般不会使用本地路径

---

运行结果

通过UI界面也可以看到从命令行提交的任务