目录
前言:集群规划
一,安装要求
1,环境要求
centos7.x 三台 : docker01 , docker02 , docker03
Java 1.8.x或更高版本,JDK安装:https://www.t9vg.com/archives/346
ssh(必须运行sshd才能使用管理远程组件的Flink脚本)
2,下载flink
使用flink1.7.2 ,官网下载: https://flink.apache.org/downloads.html
二,安装
1,解压安装
tar xzf flink-*.tgz
cd flink-*
2,修改配置文件
- 编辑 conf/flink-conf.yaml
jobmanager.rpc.address:docker01 #设置监控界面访问路径
- 编辑 conf/salves,添加如下节点:
docker02
docker03
- 编辑 conf/master, 修改添加如下节点:
docker01
conf/flink-conf.yaml 可选配置:
- 每个JobManager(
jobmanager.heap.mb
)的可用内存量 - 每个TaskManager(
taskmanager.heap.mb
)的可用内存量 - 每台机器的可用CPU数量(
taskmanager.numberOfTaskSlots
) - 集群中的CPU总数(
parallelism.default
) - 临时目录(
taskmanager.tmp.dirs
)
最后复制编辑后的flink到另外两台机器。
scp flink-*/ root@docker02:/../ #path to flink
scp flink-*/ root@docker03:/../
3,启动
[root@docker01 flink-1.7.2]# bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host docker01.
Starting taskexecutor daemon on host docker02.
Starting taskexecutor daemon on host docker03.
要停止Flink,还有一个stop-cluster.sh
脚本。
访问监控界面 :docker01:8081 。 可以看到有2个task manager节点
4,加添新的实例到现有集群
您可以使用bin/jobmanager.sh
和bin/taskmanager.sh
脚本将JobManager和TaskManager实例添加到正在运行的集群中。
添加JobManager
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
添加TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all
确保在要启动/停止相应实例的主机上调用这些脚本。