Linux运维:flink集群搭建

本文详细介绍了如何在Linux环境中搭建Flink的standalone集群,包括上传并解压Flink包,通过scp同步到其他节点,配置flink-conf.yaml、slaves和masters文件,设置系统环境变量,并最终启动集群及检查web页面。
摘要由CSDN通过智能技术生成

Flink支持多种安装模式。

local(本地)——单机模式,一般不使用
standalone——独立模式,Flink自带集群,开发测试环境使用
yarn——计算资源统一由Hadoop YARN管理,生产环境测试

本篇讲述搭建standalone模式

1.上传flink包并解压

[root@company-dev-flink01 home]# tar -zxvf flink-1.11.1-bin-scala_2.12.tgz
[root@company-dev-flink01 home]# ls
flink-1.11.1 flink-1.11.1-bin-scala_2.12.tgz
[root@company-dev-flink01 home]# mv flink-1.11.1 flink

2.将解压后的包scp发送到其他两台机器

[root@company-dev-flink01 home]# scp -r flink root@192.168.21.121:/home/
[root@company-dev-flink01 home]# scp -r flink root@192.168.21.122:/home/

3.配置flink,另外两台同样

[root@company-dev-flink01 flink]# vim conf/flink-conf.yaml
jobmanager.rpc.address: company-dev-flink01
#master机器名,统一

4.修改conf/slaves和conf/master文件,如若没有则创建&#x

要在三台 Linux 服务器上搭建 Flink 集群,可以按照以下步骤进行: 1. 准备环境:需要三台 Linux 服务器,每台服务器最好配置相同的硬件和软件环境。安装 Java 运行环境,并确保三台服务器之间可以互相通信。 2. 下载和解压 Flink:从 Flink 官网下载最新的 Flink 版本,并解压到一个目录,例如 /opt/flink。 3. 配置 Flink:修改 Flink 的配置文件 flink-conf.yaml,根据实际情况配置参数,包括 JobManager 和 TaskManager 的内存大小、并行度、网络端口等。需要修改以下参数: ```yaml jobmanager.rpc.address: <JobManager 的 IP 地址> taskmanager.numberOfTaskSlots: <每个 TaskManager 的任务槽数量> ``` 4. 启动 JobManager:在其中一台服务器上启动 JobManager。进入 Flink 的 bin 目录,执行命令 `./start-cluster.sh`,启动 JobManager。 5. 启动 TaskManager:在另外两台服务器上分别启动 TaskManager。进入 Flink 的 bin 目录,执行命令 `./taskmanager.sh start`,启动 TaskManager。 6. 提交任务:使用 Flink 提供的命令行工具 flink run 提交任务,例如 `flink run -c com.example.MyJob /path/to/my-job.jar`。 7. 监控和管理:可以使用 Flink 的 Web 接口或者命令行工具 flink list、flink cancel 等进行任务的监控和管理。 以上是一个简单的 Flink 集群搭建的步骤。在实际部署中需要考虑更多的因素,例如高可用性、容错性、安全性等。建议参考 Flink 官方文档进行更详细的配置和部署。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值