Linux-flink集群部署

一、环境准备

1.初始化：

JDK安装，可参考：
linux-安装oracleJDK替换默认openJDK_Java菜鸟小白~的博客-CSDN博客

2.hosts配置

本文节点：192.168.160.128，192.168.160.129，192.168.160.130

已保证IP间互通，内外网物理机均互通

具体可参考

linux安装虚拟机_Java菜鸟小白~的博客-CSDN博客

linux搭建虚拟机与本机物理机互联_Java菜鸟小白~的博客-CSDN博客

编辑hosts文件，提供域名映射：

vim /etc/hosts

插入以下内容：

192.168.160.128 node1
192.168.160.129 node2
192.168.160.130 node3

本文以node1为master节点，node2，node3位slave节点。以上内容三个虚拟机均需进行配置。

二、下载

下载地址可参考

Linux-flink单节点安装（配合Kafka进行吞吐量测试）_Java菜鸟小白~的博客-CSDN博客

本文集群搭建版本为：flink-1.14.6-bin-scala_2.11.tgz

地址为：Index of /dist/flink/flink-1.14.6

三、解压缩

tar -zxvf flink-1.14.6-bin-scala_2.11.tgz

四、配置文件修改

配置flink-conf.yaml文件

/usr/local/flink-1.14.6/flink-1.14.6/conf

vim flink-conf.yaml

jobmanager.rpc.address: node01 JobManager地址
jobmanager.rpc.port: 6123 JobManagerRPC通信端口
jobmanager.heap.size: 1024m JobManager所能使用的堆内存大小
taskmanager.heap.size: 1024m TaskManager所能使用的堆内存大小
taskmanager.numberOfTaskSlots: 2 TaskManager管理的TaskSlot个数，依据当前物理机的
核心数来配置，一般预留出一部分核心（25%）给系统及其他进程使用，一个slot对应一个core。如果
core支持超线程，那么slot个数*2
rest.port: 8081 指定WebUI的访问端口   --单节点放开此选项即可

注意：

128 jobmanager.rpc.address为node1

129 jobmanager.rpc.address为node1

130 jobmanager.rpc.address为node1

配置masters文件

/usr/local/flink-1.14.6/flink-1.14.6/conf

128,129,130均修改为：

#localhost:8081
node1:8081

配置workers文件

/usr/local/flink-1.14.6/flink-1.14.6/conf

128,129,130均修改为：

#localhost
node2
node3

五、环境变量修改

vim /etc/profile

 添加以下内容

export FLINK_HOME=/usr/local/flink-1.14.6/flink-1.14.6
export PATH=$PATH:$FLINK_HOME/bin

环境变量生效

source /etc/profile

六、启动

切换文件夹：

cd /usr/local/flink-1.14.6/flink-1.14.6/bin

启动：

./start-cluster.sh

停止：

./stop-cluster.sh

七、验证

​

八、可视化界面

http://192.168.160.128:8081/#/overview

​