目录
Flink支持三大部署模式:
1. Local 本地部署
Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.8.x或更高版本,本地运行会启动Single JVM,主要用于测试调试代码。
1.1 Windows 本地部署
参照官网 点我
Flink如果要在Windows计算机上本地运行Flink,则需要下载并解压缩二进制Flink分发包。之后,您可以使用Windows批处理文件(.bat
),也可以使用Cygwin运行Flink Jobmanager。
下载安装包后解压 在 /bin 目录下找到 start-cluster.bat,双击执行,浏览器打开网址 http://localhost:8081 即可
cd flink
$ cd bin
$ start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.
2. Standalone Cluster集群部署
一,安装要求
1,环境要求
centos7.x 三台 : docker01 , docker02 , docker03
Java 1.8.x或更高版本,JDK安装:https://www.t9vg.com/archives/346
ssh(必须运行sshd才能使用管理远程组件的Flink脚本)
2,下载flink
使用flink1.7.2 ,官网下载: https://flink.apache.org/downloads.html
二,安装
1,解压安装
tar xzf flink-*.tgz
cd flink-*
2,修改配置文件
编辑 conf/flink-conf.yaml
jobmanager.rpc.address:docker01 #设置监控界面访问路径
编辑 conf/salves,添加如下节点:
docker02
docker03
编辑 conf/master, 修改添加如下节点:
docker01
conf/flink-conf.yaml 可选配置:
每个JobManager(jobmanager.heap.mb)的可用内存量
每个TaskManager(taskmanager.heap.mb)的可用内存量
每台机器的可用CPU数量(taskmanager.numberOfTaskSlots)
集群中的CPU总数(parallelism.default)
临时目录(taskmanager.tmp.dirs)
最后复制编辑后的flink到另外两台机器。
scp flink-*/ root@docker02:/../ #path to flink
scp flink-*/ root@docker03:/../
3,启动
[root@docker01 flink-1.7.2]# bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host docker01.
Starting taskexecutor daemon on host docker02.
Starting taskexecutor daemon on host docker03.
要停止Flink,还有一个stop-cluster.sh脚本。
访问监控界面 :docker01:8081 。 可以看到有2个task manager节点
4,加添新的实例到现有集群
您可以使用bin/jobmanager.sh和bin/taskmanager.sh脚本将JobManager和TaskManager实例添加到正在运行的集群中。
添加JobManager
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
添加TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all
确保在要启动/停止相应实例的主机上调用这些脚本。
3. Flink ON YARN
Yarn 部署的两种模式