Flink集群搭建教程最详细最简单一看就会

19 篇文章 0 订阅
1 篇文章 0 订阅

目录

前言

环境介绍

 安装步骤

集群启动

 验证集群

集群停止


前言

Flink集群的搭建可以采取多种方式,包括本地模式、Standalone模式以及在YARN上部署等。以下是一些详细的步骤和指南:

  1. 本地模式:这是最简单的部署方式,适合开发和测试。你只需要下载Flink的二进制包并解压,然后直接运行start-cluster.sh脚本即可启动Flink集群 3。

  2. Standalone模式:这种模式不依赖任何外部资源管理系统。你需要准备至少两台Linux服务器,一台作为Master节点运行JobManager,另一台或多台作为Slave节点运行TaskManager。在Master节点上配置flink-conf.yaml指定JobManager的地址,并在workers文件中列出所有TaskManager的节点。然后分发Flink安装目录到各个节点,并在Master节点上执行start-cluster.sh启动集群 2。

  3. Flink on YARN模式:这种模式使用YARN作为资源管理器来启动Flink集群。首先需要一个运行中的Hadoop集群,然后通过yarn-session.sh脚本来启动Flink集群。这种方式可以根据需要动态分配资源,适合生产环境 5。

  4. Docker Compose部署:这是一种快速部署Flink集群的方式,通过编写docker-compose.yml文件来定义服务,然后使用Docker Compose启动服务。这种方式可以快速搭建起一个完整的Flink集群环境,包括Hadoop集群 4。

  5. 配置注意事项:在搭建集群时,需要确保所有节点时间同步,设置好SSH免密码登录,并关闭防火墙。同时,需要配置好环境变量如JAVA_HOME,并根据需要调整Flink配置文件中的参数,如jobmanager.rpc.addresstaskmanager.numberOfTaskSlots 5。

  6. 提交作业:集群搭建完成后,可以通过Flink的Web界面或者命令行工具提交作业。如果是在YARN上部署,可以使用flink run命令并指定作业的运行模式(如yarn-sessionyarn-per-jobyarn-application)来提交作业 25。

  7. 监控与管理:Flink提供了Web界面用于监控和管理作业。你可以查看作业的运行状态、提交新的作业、或者取消正在运行的作业 

环境介绍

本次系统服务器节点

03d2b42db5fe4bc79f9e6366167e5f70.png

说明:

  1. 除特别说明外,本文的所有操作均在master节点、使用me这个非root用户执行
  2. 命令中出现的IP,均需要替换为自己集群中的IP【必须】
  3. 命令中出现的/opt/module/flink/路径,可选择替换为自定义路径【可选】

 安装步骤

1、下载安装包

wget https://archive.apache.org/dist/flink/flink-1.14.2/flink-1.14.2-bin-scala_2.12.tgz

2、 上传资源包到master节点,并解压到指定路径。

3、配置HADOOP_CLASSPATH环境变量

sudo vim /etc/profile
# 内容最后,追加下面内容
export HADOOP_CLASSPATH=`hadoop classpath`

4、修改flink-conf.yaml文件 配置文件

vim /opt/module/flink/flink-1.14.2/conf/flink-conf.yaml

# jobmanager地址
jobmanager.rpc.address: 192.168.100.108
......
# 槽、并行度
taskmanager.numberOfTaskSlots: 3
parallelism.default: 1
......
# 类加载机制
classloader.resolve-order: parent-first
classloader.check-leaked-classloader: false

5、配置workers文件

echo '192.168.100.108
192.168.100.109
192.168.100.110' > /opt/module/flink/flink-1.14.2/conf/workers

6、配置masters文件

echo '192.168.100.108:8089' > /opt/module/flink/flink-1.14.2/conf/masters

7、分发到其他两个节点机器

 xsync /opt/module/flink/flink-1.14.2/

集群启动

/opt/module/flink/flink-1.14.2/bin/start-cluster.sh

 验证集群

1、jps查询三台服务器的进程情况如下:

2、访问flinkWeb UI页面http://10.0.0.87:8089

 

 

集群停止

/opt/module/flink/flink-1.14.2/bin/stop-cluster.sh

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值