搭建Flink的Standlone独立模式-高可用（3个节点2个jobmanager）

最新推荐文章于 2024-05-16 11:23:48 发布
最新推荐文章于 2024-05-16 11:23:48 发布
阅读量835 收藏 2
点赞数 1
分类专栏： flink 文章标签： flink 大数据 zookeeper hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58046550/article/details/127996420
版权

目录

一、集群规划（2个jobmanager）

二、下载并上传至linux系统

四、修改配置文件

五、将hadoop依赖的包下载到flink的lib目录下

六、将配置好的flink分发到slave2和slave3

七、启动Flink集群

独立：不借助第三方资源管理器

多个jobmanager，由zookeeper去调用，但同一时刻只能有一个jobmanager活跃

 

一、集群规划（2个jobmanager）

二、下载并上传至linux系统

官网下载

可自行选择版本

提供网盘的下载

提取码: s6jg

上传至linux系统

四、修改配置文件

 masters

workers（之前的版本则vim slaves）指定taskmanager的主机

五、将hadoop依赖的包下载到flink的lib目录下

提供网盘的下载

提取码: grqj

官网下载

六、将配置好的flink分发到slave2和slave3

在slave2中修改jobmanager的地址

七、启动Flink集群

 前提：先启动zookeeper和hadoop集群

 zookeeper推荐文章

 hadoop推荐文章

 再启动Flink集群

 

 查看进程

web端访问：slave1和slave2都可以访问

slave1

slave2

 

lidan0427
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink1.10三节点集群standalone模式搭建
ASN_forever的博客
05-19 3030
各台机器上提前准备jdk1.8以及上的java环境，并且配置ssh免密登录。 集群环境 flink1:172.21.89.128 jobmanager flink2:172.21.89.129 taskmanager flink3:172.21.89.130 taskmanager 在flink1上做flink配置，主要是flink-conf.yaml、masters和slaves flink-conf.yaml： jobmanager.rpc.address: fl
【Flink原理和应用】： Flink Standalone模式的高可用性搭建
hxcaifly的博客
02-24 1494
1. 前言 Flink的standalone模式的高可用部署，需要依赖于ZooKeeper和Hadoop的hdfs。本次集群部署选用的三台服务器ip为： 10.35.108.81 10.35.108.82 10.35.108.83 前期准备工作： ZooKeeper的部署工作完成：三台服务器集群，其中81是leader节点。82和83是follower节点。 HDFS安装完成：83节点开启的N...
Flink 高可用之StandAlone-HA模式(一)
最新发布
天道酬勤
05-16 798
服务器: node1(Master + Slave): JobManager + TaskManager。- 服务器: node2(Master + Slave): JobManager + TaskManager。- 服务器: node3(Slave): TaskManager。#存储JobManager的元数据到HDFS。#启用检查点，可以将快照保存到HDFS。#开启HA，使用文件系统作为快照存储。#使用zookeeper搭建高可用。
Flink作业任务部署解读
阿甘兄
08-14 1910
Flink作业任务部署有几种模式，分别为：Application 模式、Per-Job 模式、Session模式。无论何种模式，都是提交到JobManager的，JobManager会把作业分发到不同的TaskManager，TaskManager为实际的工作者。对于JobManager及TaskManager，又可以部署到不同的资源管理器中，如：Standlone 独立集群、Yarn 资源管理器 、K8S 集群（本质也是资源管理器）。......
flink Standalone独立集群模式配置和部署：
qq_46183404的博客
09-21 1226
flink Standalone独立集群模式配置和部署：
Flink 1.15本地集群部署Standalone模式(独立集群模式)
weixin_40344051的博客
07-22 4143
flink sql1.15 部署和flink sql命令操作创建job,完成mysql实时流数据同步
flink-shaded-hadoop-3下载
05-19
flink-shaded-hadoop-3下载
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip
05-27
这个压缩包中的 `flink-shaded-hadoop-2-uber-2.7.5-10.0.jar` 文件，是 Flink 针对 Hadoop 2.7.5 版本的“Uber JAR”，它是将多个依赖库打包在一起的单一 JAR 文件，旨在简化部署和运行流程。 首先，我们来理解...
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
03-03
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
flink-1.14.0-bin-scala_2.11.tgz
07-18
- 容错机制：改进了 JobManager 的高可用性，降低了故障恢复时间。 总的来说，Apache Flink 1.14.0 是一个强大且灵活的实时数据处理平台，适用于各种实时分析和流应用。通过深入了解和使用这个版本，开发者可以充分...
flink-shaded-hadoop-2-uber-2.6.5-10.0.jar
04-23
flink-1.11 版本后不带连接hadoop的jar包，需要自己手动编译打包，这里我将自己使用的 jar包分享给有需要的人。
【Flink】Flink进行Standalone模式的集群搭建
weixin_65690086的博客
06-24 811
【Flink】Flink进行Standalone模式的集群搭建
Flink JobManager、TaskManager、Slot、作业运行模式、Exactly Once、状态流、时间流、API结构
psycho7ogist的博客
09-07 1711
Flink 重要概念梳理与解析，如 JobManager、TaskManager、Slot、作业运行模式、Exactly Once、状态流、时间流、API结构等
Flink学习笔记【巨详细！】（二）
m0_70357583的博客
07-07 1576
第三章：Flink集群配置和部署 第四章：Flink运行架构的介绍
【Flink】部署模式-会话模式/单作业模式/应用模式/Yarn模式/独立模式/K8s模式
masetLI的博客
03-02 664
在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。Flink为各种场景提供了不同的部署模式，主要有以下三种模式： 会话模式（Session Mode） 单作业模式（Per-Job Mode） 应用模式（Application Mode）
flink集群部署之Standalone模式+HA高可用部署
可乐
09-30 476
1.下载flink 链接：https://flink.apache.org/downloads.html 2.安装 1）解压缩 tar -zxvf flink-1.7.2-bin-hadoop27-scala _2.11.tgz 3.代码编写 object StreamWordCount { def main(args: Array[String]): Unit = { //从外部命令获取参数 val params: ParameterTool = ParameterTool.f
大数据Flink（四）：Standalone独立集群模式
Lansonli（蓝深李）的博客
04-24 1268
目录 ​​​​​​​Standalone独立集群模式 原理 ​​​​​​​操作 1.集群规划: 2.修改flink-conf.yaml 3.修改masters 4.修改slaves 5.添加HADOOP_CONF_DIR环境变量 6.分发 7.source ​​​​​​​测试 1.启动集群，在node1上执行如下命令 2.启动历史服务器 3.访问Flink UI界面或使用jps查看 4.执行官方测试案例 5.查看历史日志 6.停止Flink集群 Standalone独立集
实时计算Flink —— 独享模式介绍
weixin_33790053的博客
11-14 414
本页目录 背景 特性 背景 阿里云实时计算 Flink目前推出一种新的购买模式：独享模式。独享模式，是实时计算在原有共享模式基础上的补充。 独享模式是指：用户独享一部分物理资源，这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立。 特性 与共享模式相比，独享模式有以下优点和特性。 UDX开放 实时计算的共享模式是多个用...
Flink Yarn-Per-Job中，applicationmaster是不是就是JobManager？
07-13
是的，Flink Yarn-Per-Job模式中的application master就是JobManager。在Yarn-Per-Job模式下，每个Flink作业都会在YARN集群上启动一个独立的应用程序主管（application master），负责协调和管理该作业的执行。这个应用程序主管就是Flink的JobManager，负责接收和调度任务，监控作业的执行状态，并与YARN资源管理器（ResourceManager）进行通信来获取和释放资源。因此，Flink的JobManager在Yarn-Per-Job模式下充当了application master的角色。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值