Flink的Standalone集群部署

在上篇进行单机的Standalone部署-Flink的Standalone部署实战，本篇介绍Flink的Standalone集群部署。
Flink集群为主从架构，主是JobManager，从为TaskManager，支持一主多从。
本次搭建环境为3台机器，信息如下表所示。

IP	服务	描述
192.168. 184.37	JobManager、TaskManager
192.168. 184.30	TaskManager
192.168. 184.41	TaskManager

一、Flink环境搭建安装

安装过程与上期介绍的一致，下载-解压-配置环境变量。

第一步、下载或直接从主服务器上拷贝或者命令复制

主要可通过两种方式
方式一、在从服务器，分别用 wget命令 直接下载并解压到指定的目录下；
方式二、scp命令，直接从主服务器上复制flink整个文件到从服务器指定目录。
注意： 加上 -r 参数，表示复制整个目录的文件。

// 方式一、wget下载
wget https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
// opt下创建文件夹
mkdir /opt/flink
// 解压到opt下目录
tar -zxvf flink-1.14.3-bin-scala_2.12.tgz -C /opt/flink/
// 方式二、scp 服务器间复制文件，-r 复制文件目录
scp -r /opt/flink/* root@192.168.184.130:/opt/flink/

第二步、修改环境变量

进入环境变量配置文件profile， 即 vi /etc/profile，添加以下内容。

#flink
export Flink_HOME=/opt/flink/flink-1.14.3/
# 将flink路径添加到PATH路径下
export PATH=$PATH:$Flink_HOME/bin

:wq 保存配置信息，主要要刷新环境变量。

// 刷新环境变量
source /etc/profile
// 查看安装位置
which flink
// 进入到bin目录下，启动
start-cluster.sh
// 查看flink进程
ps -ef | grep flink
// 测试
jps

第三步、集群配置

修改三个文件
flink-conf.yaml
masters
works
1）修改 flink-conf.yaml 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/flink-conf.yaml命令，编辑 flink-conf.yaml 配置文件。

jobmanager.rpc.address:192.168.184.137
// 端口
jobmanager.rpc.port: 6123

// 放开注释
rest.port:8081
rest.address:192.168.184.137

修改 JobManager

修改 rest

2）修改 masters 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/masters，编辑masters配置文件。

// 设置主
192.168.184.137:8081

修改内容如下图所示。

3）修改 works 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/masters，修改works 配置文件。
添加集群配置信息

192.168.184.137
192.168.184.130
192.168.184.141

添加结果如下所示。

分发到其他服务器

// 分发目录到第一台从服务器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.130:/opt/
// 分发目录到第二台从服务器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.141:/opt/
// 分发环境变量到第一台从服务器
scp -r /etc/profile 192.168.184.130:/etc/
// 分发环境变量到第二台从服务器
scp -r /etc/profile 192.168.184.141:/etc/

分别登录到两台从服务器，执行以下命令， 刷新环境变量

// 刷新环境变量
source /etc/profile

在主服务器上启动

// 进入bin目录下启动
start-clusert.sh

第四步、浏览器访问

在浏览器访问 http://192.168.184.137:8081/#/overview，即可访问。

异常处理

【1】启动报错
报错：-bash: start-cluster.sh: 未找到命令
处理方案：yum install bash

如还未解决，则执行 ./start-cluster.sh 来启动。