Flink_集群搭建

最新推荐文章于 2024-09-10 22:13:51 发布

BigMoM1573

最新推荐文章于 2024-09-10 22:13:51 发布

阅读量376

点赞数

分类专栏： Flink 文章标签： Flink

本文链接：https://blog.csdn.net/qq_44509920/article/details/107190616

版权

本文档详细介绍了Flink的standalone、HA和Yarn集群环境的搭建步骤。从下载安装包、集群规划到具体操作，包括配置JobManager、TaskManager，以及启动、停止和高可用设置。此外，还涵盖了Flink on Yarn的两种使用方式和资源管理机制。

摘要由CSDN通过智能技术生成

文章目录

Flink 支持多种安装模式。

local（本地） ——单机模式，一般不使用
standalone ——独立模式， Flink 自带集群，开发测试环境使用
yarn——计算资源统一由 Hadoop YARN 管理，生产环境测试

3.1 standalone 集群环境

3.1.1 准备工作

3.1.2 下载安装包

https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scal a_2.11.tgz

3.1.3 集群规划

master(JobManager)+slave/worker(TaskManager)
node01(master+slave) node02(slave) node03(slave)

3.1.4 步骤

解压 Flink 压缩包到指定目录
配置 Flink
配置 Slaves 节点
分发 Flink 到各个节点
启动集群
递交 wordcount 程序测试
查看 Flink WebUI

3.1.5具体操作

1）上传 Flink 压缩包到指定目录
2) 解压缩 flink 到 /export/servers 目录 tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.11.tgz
在这里插入图片描述

修改安装目录下 conf 文件夹内的 flink-conf.yaml 配置文件，指定 JobManager

[root@node01 conf]# vim flink-conf.yaml

#配置 Master 的机器名（ IP 地址）
 jobmanager.rpc.address: node01 
#配置每个 taskmanager 生成的临时文件夹 
 taskmanager.tmp.dirs: /export/servers/flink-1.7.2/tmp

在这里插入图片描述

4) 修改安装目录下 conf 文件夹内的 slave 配置文件，指定 TaskManager

node01 
node02 
node03

在这里插入图片描述
5) 使用 vi 修改 /etc/profile 系统环境变量配置文件，添加 HADOOP_CONF_DIR 目录

[root@node01 conf]# vim /etc/profile
export HADOOP_CONF_DIR=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

在这里插入图片描述
6) 分发/etc/profile 到其他两个节点

scp -r /etc/profile node02:/etc 
scp -r /etc/profile node03:/etc

在这里插入图片描述
7) 每个节点重新加载环境变量

 source /etc/profile

在这里插入图片描述
8) 将配置好的 Flink 目录分发给其他的两台节点

for i in {
   2..3}; do scp -r flink-1.7.2/ node0$i:$PWD; done

在这里插入图片描述
9) 启动 Flink 集群

 bin/start-cluster.sh

在这里插入图片描述
10) 通过 jps 查看进程信息

基础配置

# jobManager 的 IP 地址 
jobmanager.rpc.address: localhost 
# JobManager 的端⼝号 
jobmanager.rpc.port: 6123 
# JobManager JVM heap 内存⼤⼩ 
jobmanager.heap.size: 1024m 
# TaskManager JVM heap 内存⼤⼩ 
taskmanager.heap.size: 1024m 
# 每个 TaskManager 提供的任务 slots 数量⼤⼩ 
taskmanager.numberOfTaskSlots: 1 
# 程序默认并⾏计算的个数 
parallelism.default: 1