FLink集群搭建并提交一个简单的任务

FLink集群搭建

独立集群

独立集群不需要依赖任何框架，独立运行

1、上传解压配置环境变量

tar -xvf flink-1.15.0-bin-scala_2.12.tgz 

vim /etc/profile

2、修改配置文件

vim conf/flink-conf.yaml

jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
rest.bind-address: 0.0.0.0
taskmanager.numberOfTaskSlots: 2

vim conf/masters

master:8081

vim workers

分布式写node1,node2

node1
node2

3、将flink文件同步到另外两个节点中

scp -r flink-1.15.0/ node1:`pwd`
scp -r flink-1.15.0/ node2:`pwd`

4、需要修改node1和node2中的配置文件

vim flink-conf.yaml

node1节点改成node1,node2的节点改成node2

taskmanager.host: node1/node2

5、启动flink的独立集群

在master中启动集群

start-cluster.sh

关闭
stop-cluster.sh

6、访问flink的页面

http://master:8081

flink 提交任务的方式

1、将项目打包在网页上提交

提交

查看任务状态

执行结果

2、将jar包上传到集群使用flink命令提交

flink run -c com.wt.flink.core.Demo2Submit flink-1.0-SNAPSHOT.jar

输入：

输出：