Apache Flink 简单易懂渐进式学习教程(三)：Standalone Cluster 集群部署

目录

前言：集群规划

一，安装要求

二，安装

---

前言：集群规划

一，安装要求

1，环境要求

centos7.x 三台 : docker01 , docker02 , docker03

Java 1.8.x或更高版本，JDK安装：https://www.t9vg.com/archives/346

ssh（必须运行sshd才能使用管理远程组件的Flink脚本）

2，下载flink

使用flink1.7.2 ，官网下载： https://flink.apache.org/downloads.html

二，安装

1，解压安装

tar xzf flink-*.tgz
cd flink-*

2，修改配置文件

• 编辑 conf/flink-conf.yaml
•  

jobmanager.rpc.address：docker01 #设置监控界面访问路径

• 编辑 conf/salves，添加如下节点：

docker02
docker03

• 编辑 conf/master, 修改添加如下节点：
•  

docker01

conf/flink-conf.yaml 可选配置：

• 每个JobManager（jobmanager.heap.mb）的可用内存量
• 每个TaskManager（taskmanager.heap.mb）的可用内存量
• 每台机器的可用CPU数量（taskmanager.numberOfTaskSlots）
• 集群中的CPU总数（parallelism.default）
• 临时目录（taskmanager.tmp.dirs）
•  

最后复制编辑后的flink到另外两台机器。

scp flink-*/ root@docker02:/../ #path to flink
scp flink-*/ root@docker03:/../

3，启动

[root@docker01 flink-1.7.2]# bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host docker01.
Starting taskexecutor daemon on host docker02.
Starting taskexecutor daemon on host docker03.

要停止Flink，还有一个stop-cluster.sh脚本。

访问监控界面 ：docker01:8081 。 可以看到有2个task manager节点

 

4，加添新的实例到现有集群

您可以使用bin/jobmanager.sh和bin/taskmanager.sh脚本将JobManager和TaskManager实例添加到正在运行的集群中。

添加JobManager

bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

添加TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all

确保在要启动/停止相应实例的主机上调用这些脚本。

 

参考：https://www.t9vg.com/archives/478