Flink standalone模式部署
部署过好多次了,有的博客比较坑爹,这里还是写一篇博客吧。
(注:这里以flink-1.11.1的版本为例子)
举例我要搭建6个节点的Flink集群,1个master节点(名字为slave030),5个slave节点(名字分别为slave036,slave037,slave038,slave039,slave040)。
需要更改的配置文件有三处:
在master的节点上更改配置
- conf/flink-conf.yaml
更改此处的localhost为master的ip或者master的名字。
- conf/masters
更改此处的localhoist为master的ip地址或者master的名字。
- conf/workers(conf/slaves)
更改此处的localhost为所有slave节点的ip地址或者slave名字(每一个占一行)
然后将整个flink-1.11.1文件夹分发到其余五台节点上。
需要提前做好master到其余所有slave节点的免密登录。然后在master节点上使用下面命令:
./bin/start-cluster.sh
之后查看所有节点的java进程号(jps命令),如下所示:master节点的进程名字为StandaloneSessionClusterEntrypoint,slave节点的进程号为TaskManagerRunner。