Apache Flink 学习之 Flink 集群安装部署（6）

目录

Flink支持三大部署模式：

1. Local 本地部署

1.1 Windows 本地部署

2. Standalone Cluster集群部署

3. Flink ON YARN

---

Flink支持三大部署模式：

1. Local 本地部署

Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.8.x或更高版本，本地运行会启动Single JVM，主要用于测试调试代码。

1.1 Windows 本地部署

参照官网 点我

Flink如果要在Windows计算机上本地运行Flink，则需要下载并解压缩二进制Flink分发包。之后，您可以使用Windows批处理文件（.bat），也可以使用Cygwin运行Flink Jobmanager。

下载安装包后解压 在 /bin 目录下找到 start-cluster.bat，双击执行，浏览器打开网址 http://localhost:8081 即可

cd flink
$ cd bin
$ start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.

2. Standalone Cluster集群部署

一，安装要求
1，环境要求

centos7.x 三台 : docker01 , docker02 , docker03

Java 1.8.x或更高版本，JDK安装：https://www.t9vg.com/archives/346

ssh（必须运行sshd才能使用管理远程组件的Flink脚本）

2，下载flink

使用flink1.7.2 ，官网下载： https://flink.apache.org/downloads.html

二，安装
1，解压安装

tar xzf flink-*.tgz
cd flink-*
2，修改配置文件

编辑 conf/flink-conf.yaml
 
jobmanager.rpc.address：docker01 #设置监控界面访问路径
编辑 conf/salves，添加如下节点：
docker02
docker03
编辑 conf/master, 修改添加如下节点：
 
docker01
conf/flink-conf.yaml 可选配置：

每个JobManager（jobmanager.heap.mb）的可用内存量
每个TaskManager（taskmanager.heap.mb）的可用内存量
每台机器的可用CPU数量（taskmanager.numberOfTaskSlots）
集群中的CPU总数（parallelism.default）
临时目录（taskmanager.tmp.dirs）
 
最后复制编辑后的flink到另外两台机器。

scp flink-*/ root@docker02:/../ #path to flink
scp flink-*/ root@docker03:/../
3，启动

[root@docker01 flink-1.7.2]# bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host docker01.
Starting taskexecutor daemon on host docker02.
Starting taskexecutor daemon on host docker03.
要停止Flink，还有一个stop-cluster.sh脚本。

访问监控界面 ：docker01:8081 。 可以看到有2个task manager节点

4，加添新的实例到现有集群

您可以使用bin/jobmanager.sh和bin/taskmanager.sh脚本将JobManager和TaskManager实例添加到正在运行的集群中。

添加JobManager

bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
添加TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all
确保在要启动/停止相应实例的主机上调用这些脚本。
 

3. Flink ON YARN

Yarn 部署的两种模式