Flink-1.9.0 Standalone集群搭建

环境

节点ip及映射

192.168.159.101    master

192.168.159.102    node1

192.168.159.103    node2

192.168.159.104    node3

这里master为flink主节点其它为子节点

 

搭建步骤

1.下载flink

通过官网 https://flink.apache.org/downloads.html 找到适合的版本下载，这里使用的是 flink-1.9.0

 

2.发送至虚拟机并解压

tar -zxf flink-1.9.0-bin-scala_2.11.tgz    这里的解压目录为 /home/hadoop/

 

3.配置环境变量

vi /etc/profile

export FLINK_HOME=/home/hadoop/flink-1.9.0
export PATH=$PATH:$FLINK_HOME/bin

更新环境变量source /etc/profile

 

4.编辑配置文件

进入flink安装目录下的conf目录，编辑flink-conf.yaml ，修改jobmanager.rpc.address为主节点，TaskSolt的数量建议设置为CPU核心数，这里设置为1，其它内存设置可以根据情况设定

vi flink-conf.yaml
jobmanager.rpc.address: master

 

编辑masters配置文件，设置为主节点

master:8081

编辑slaves配置文件，设置为子节点

node1
node2
node3

 

5.分发flink到其他节点

scp -r flink-1.9.0/ root@node1:/home/hadoop/

scp -r flink-1.9.0/ root@node2:/home/hadoop/

scp -r flink-1.9.0/ root@node3:/home/hadoop/

 

6.启动flink集群

start-cluster.sh

 

7.查看集群进程信息

使用 jps 命令查看各个节点的进程信息，这里使用了自定义脚本

 

8.查看Web UI

通过浏览器访问flink主节点的8081端口  http://master:8081 ，可以查看flink集群的信息

 

9.运行自带实例进行测试

执行flink压缩包中自带的例子，进入flink安装目录执行

flink run examples/streaming/WordCount.jar

在web页面查看任务的执行状况(由于运行的比较快，切换过来的时候已经完成了)

点击运行的任务可以看到任务的详细执行情况

 

点击out阶段，找到执行此阶段的子节点

 

点击Task Managers，找到刚才运行out阶段的节点并点击(node3的ip为192.168.159.104)

 

点击Stdout可以看到此次运行输出的内容

 

 

10.关闭集群

stop-cluster.sh