Flink可以有多种集群模式,例如独立集群、on YARN、Docker、AWS等。
对于独立集群模式,需要有至少两台独立的机器(物理机、虚拟机或者Docker/K8s等容器),其中一台作为Master,剩下的作为Slave,或者称为Worker。
首先需要修改配置文件 conf/flink-conf.yaml,将jobmanager.rpc.address修改为Master机器的地址,然后修改conf/slaves文件,将其他机器的地址写进去,我这边想尝试修改成
localhost:8082
localhost:8083
但是运行start-cluster.sh脚本时提示找不到Slave节点,没办法尝试单机集群,不过可以多次运行start-cluster.sh脚本,启动多个TaskManager。
这里有三个Task Slot,代表集群具有的并发能力。也可以单独运行jobmanager.sh或taskmanager.sh,单独添加JobManager或TaskManager:
-
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
-
bin/taskmanager.sh start|start-foreground|stop|st