flink-1.16.1集群部署

flink部署

Flink支持完全分布式模式，这时它由一个master节点和多个worker节点构成。在本节，我们将搭建一个如下的三个节点的Flink集群。

一、Flink集群安装、配置和运行

Flink完全分布式集群搭建步骤如下：

1、配置从master到worker节点的SSH无密登录，并保持保节点上相同的目录结构。

2、Flink要求在主节点和所有工作节点上设置JAVA_HOME环境变量，并指向Java安装的目录。

使用如下命令检查Java的安装和版本信息：

 $ java -version

3、下载Flink安装包。下载地址：https://flink.apache.org/downloads.html

4、解压安装包

mkdir /usr/local/flink
tar xzvf flink-1.16.1-bin-scala_2.12.tgz -C /usr/local/flink
cd /usr/local/flink/flink-1.16.1/

5、在master节点上配置Flink

所有的配置都在"conf/flink-conf.yaml"文件中。在实际应用中，以下几个配置项是非常重要的：

• jobmanager.heap.mb：每个JobManager的可用内存量，以MB为单位。
• taskmanager.heap.mb：每个TaskManager的可用内存量，以MB为单位。
• taskmanager.numberOfTaskSlots：每台机器上可用的cpu数量，默认为1。
• parallelism.default：集群中cpu的总数。
• io.tmp.dirs：临时目录。

首先用编辑器nano打开该配置文件（你也可以用任何你喜欢的编辑器，如vim，都可以）。

cat conf/flink-conf.yaml

编辑如下内容（注意，冒号后面一定要有一个空格）：

# master
jobmanager.rpc.address: master
jobmanager.rpc.port: 6123
jobmanager.bind-host: 0.0