树莓派3B搭建Flink集群

安装Flink的操作在两台树莓派上都要做,操作步骤一模一样,如下:

  1. 在Flink官网下载,地址是:https://flink.apache.org/downloads.html

  2. 如下图,选择红框中的版本:

在这里插入图片描述

  1. 下载的Flink安装包文件是flink-1.7.0-bin-hadoop28-scala_2.11.tgz,放在此位置:/usr/local/work;

  2. 在/usr/local/work目录下执行命令tar -zxvf flink-1.7.0-bin-hadoop28-scala_2.11.tgz解压,会生成一个文件夹:flink-1.7.0

机器情况

两台树莓派3B的IP地址、hostname等信息如下列表所示:

| IP地址 | hostname | 身份 |

| — | — | — |

| 192.168.1.102 | dubhe | 集群的master,即job节点 |

| 192.168.1.104 | merak | 集群的slave

  • 30
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在三台 Linux 服务器上搭建 Flink 集群,可以按照以下步骤进行: 1. 准备环境:需要三台 Linux 服务器,每台服务器最好配置相同的硬件和软件环境。安装 Java 运行环境,并确保三台服务器之间可以互相通信。 2. 下载和解压 Flink:从 Flink 官网下载最新的 Flink 版本,并解压到一个目录,例如 /opt/flink。 3. 配置 Flink:修改 Flink 的配置文件 flink-conf.yaml,根据实际情况配置参数,包括 JobManager 和 TaskManager 的内存大小、并行度、网络端口等。需要修改以下参数: ```yaml jobmanager.rpc.address: <JobManager 的 IP 地址> taskmanager.numberOfTaskSlots: <每个 TaskManager 的任务槽数量> ``` 4. 启动 JobManager:在其中一台服务器上启动 JobManager。进入 Flink 的 bin 目录,执行命令 `./start-cluster.sh`,启动 JobManager。 5. 启动 TaskManager:在另外两台服务器上分别启动 TaskManager。进入 Flink 的 bin 目录,执行命令 `./taskmanager.sh start`,启动 TaskManager。 6. 提交任务:使用 Flink 提供的命令行工具 flink run 提交任务,例如 `flink run -c com.example.MyJob /path/to/my-job.jar`。 7. 监控和管理:可以使用 Flink 的 Web 接口或者命令行工具 flink list、flink cancel 等进行任务的监控和管理。 以上是一个简单的 Flink 集群搭建的步骤。在实际部署中需要考虑更多的因素,例如高可用性、容错性、安全性等。建议参考 Flink 官方文档进行更详细的配置和部署。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值