环境
节点ip及映射
192.168.159.101 master
192.168.159.102 node1
192.168.159.103 node2
192.168.159.104 node3
这里master为flink主节点其它为子节点
搭建步骤
1.下载flink
通过官网 https://flink.apache.org/downloads.html 找到适合的版本下载,这里使用的是 flink-1.9.0
2.发送至虚拟机并解压
tar -zxf flink-1.9.0-bin-scala_2.11.tgz 这里的解压目录为 /home/hadoop/
3.配置环境变量
vi /etc/profile
export FLINK_HOME=/home/hadoop/flink-1.9.0
export PATH=$PATH:$FLINK_HOME/bin
更新环境变量source /etc/profile
4.编辑配置文件
进入flink安装目录下的conf目录,编辑flink-conf.yaml ,修改jobmanager.rpc.address为主节点,TaskSolt的数量建议设置为CPU核心数,这里设置为1,其它内存设置可以根据情况设定
vi flink-conf.yaml
jobmanager.rpc.address: master
编辑masters配置文件,设置为主节点
master:8081
编辑slaves配置文件,设置为子节点
node1
node2
node3
5.分发flink到其他节点
scp -r flink-1.9.0/ root@node1:/home/hadoop/
scp -r flink-1.9.0/ root@node2:/home/hadoop/
scp -r flink-1.9.0/ root@node3:/home/hadoop/
6.启动flink集群
start-cluster.sh
7.查看集群进程信息
使用 jps 命令查看各个节点的进程信息,这里使用了自定义脚本
8.查看Web UI
通过浏览器访问flink主节点的8081端口 http://master:8081 ,可以查看flink集群的信息
9.运行自带实例进行测试
执行flink压缩包中自带的例子,进入flink安装目录执行
flink run examples/streaming/WordCount.jar
在web页面查看任务的执行状况(由于运行的比较快,切换过来的时候已经完成了)
点击运行的任务可以看到任务的详细执行情况
点击out阶段,找到执行此阶段的子节点
点击Task Managers,找到刚才运行out阶段的节点并点击(node3的ip为192.168.159.104)
点击Stdout可以看到此次运行输出的内容
10.关闭集群
stop-cluster.sh