flink搭建集群（一主三从）

最新推荐文章于 2024-07-19 14:27:39 发布
最新推荐文章于 2024-07-19 14:27:39 发布
阅读量828 收藏 2
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a772304419/article/details/107121194
版权

配置

在这里插入图片描述

  • 配置flink-conf.yaml
vim flink-conf.yaml

在这里插入图片描述

  • 配置从节点
vim slaves

在这里插入图片描述
配置高可用时还需配置masters配置文件。

  • 分发到其他节点：
scp -r flink-1.9.2 node02:`pwd`
scp -r flink-1.9.2 node03:`pwd`
scp -r flink-1.9.2 node04:`pwd`

在这里插入图片描述

  • 配置环境变量：
vim ~/.bashrc
source ~/.bashrc

在这里插入图片描述

启动flink

cd bin

在这里插入图片描述

./start-cluster.sh

在这里插入图片描述

  • 主节点jps
    StandcloneSessionClusterEntrypoint就是JobManager
    在这里插入图片描述

  • 从节点jps
    TaskManagerRunner就是TaskManager
    在这里插入图片描述

web ui

  • 默认的web ui的端口是8081，在flink-conf.yaml中配置
    在这里插入图片描述
  • Task Managers
    在这里插入图片描述
    可管理的内存：
    Task Manager本身需要占用一部分内存，所以实际可用内存肯定比设置的要低
    在这里插入图片描述
    一般建议slot:cores=1:1
学亮编程手记
关注
专栏目录
Flink多主多从-1.15.0版本集群部署
changyitt的博客
08-09 830
- 配置RM重启保存yarn上job状态 start -->-- 配置SecondaryNameNode的节点地址 -->-- 配置ResourceManager的服务节点 -->-- 配置RM重启保存yarn上job状态 end -->-- 配置当前节点yarn的可用资源 start -->-- 配置HDFS的DataNode的备份数量 -->-- 配置当前节点yarn的可用资源 end -->-- 配置HDFS的NameNode所在节点服务器 -->-- 任务资源分配规则 start -->
Flink集群搭建教程
anyitian的博客
04-29 651
文章目录前言下载解压修改配置文件配置flink环境变量(三台主句修改/etc/profile)启动flink集群问题及解决办法 前言 本次教程使用了三台主机分别是bigdata151、bigdata152、bigdata153。 下载 按照所需版本下载 比如scala版本 地址：https://flink.apache.org/downloads.html 解压 上传到服务器，解压。 tar -zxvf flink-1.12.2-bin-scala_2.12.tgz 修改配置文件 进入conf目录下
Flink集群搭建
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-27 2145
Flink集群搭建
Flink_Flink 集群搭建
迎难而上
05-22 2475
本文主要讲解下 flink 如何搭建 ： 单节点集群 standalone 集群 yarn session 集群 最近学习了下 Flink ，看了许多天的书，一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。 单节点集群 单节点集群，其实不难。主要我是虚拟机器，内存很小，所以我们要调整 task-manager 的内存参数。 task-manager 的内存分配管理 与 参数配置 是一个大问题，我专门写了一篇文章 ： ...
flink集群搭建
luo981695830的博客
11-21 1308
flink集群搭建及测试
flink集群搭建包.zip
06-14
Flink集群搭建是一个复杂但重要的过程，涉及到大数据处理和分布式计算。Flink是一个开源的流处理框架，由Apache基金会维护，它支持实时处理和批处理，具有低延迟、高吞吐量以及容错性强的特点。Java是Flink的主要...
Flink集群的搭建
加油
11-05 326
2、提交任务会共用一个JobManager，动态的申请TaskManager，任务取消，TaskManager就会被释放。前面的两种模式都是一次只会服务一个任务，但是这个可以同时启动多个任务，此时就会产生一个问题，那就是如果其中某一个任务失败的化，那么后面的任务可能都会失败。1、如果业务的要是是实时的业务，那么就选择独立集群模式，因为yarn是基于Hadoop，适合做离线的。也可以使用Web来提交任务，功能与独立集群的模式基本一致，但是不同的是他是建立在Yarn的模式上。2、在本地是看不见错误的。
Flink的集群的搭建
qq_40870024的博客
12-11 4393
部署方式分类 1.Local 本地部署 2. Standalone 使用Flink自带的资源调度平台进行任务的部署 3. Standalone-HA高可用的部署方式 4. Yarn 部署 1. Local 本地部署 应用场景：开发环境 部署步骤： 设置 JDK运行环境 配置 SSH 免密登录 下载并解压缩 Flink-1.13.1 到 /export/server 修改配置文件 jobmanager.rpc.address: node1 开启flink环境查看web UI监控 开启集群 [root@n
Flink第三章Flink集群搭建
汉子一枚
07-20 508
Flink集群搭建 Flink 支持多种安装模式。 local（ 本地） ——单机模式， 一般不使用 standalone ——独立模式， Flink 自带集群，开发测试环境使用 yarn——计算资源统一由 Hadoop YARN 3.1 standalone 集群环境 3.1.1 准备工作 jdk1.8 及以上【 配置 JAVA_HOME 环境变量】 ssh 免密码登录【 集群内节点之间免密登录】 3.1.2 下载安装包 https://archive.apache.org/dist/flink/fli
分布式flink平台搭建
03-05
ubuntu系统下部署完全分布式flink平台及与平台相关的zookeeper，kafka平台的安装部署过程及遇见的问题的解决方案
Flink实战——集群搭建
m0_46332441的博客
04-09 2454
下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。，本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。，则在其余两台节点服务器（hadoop01和hadoop02）上。上，其中，目录位置可以自定义，本文上传的目录位置为。
Flink Standlone集群搭建
胖虎儿的博客
07-10 7974
Flink Standlone集群搭建详细教程
搭建Flink集群环境
孟凡霄
01-24 275
下载最新的Flink安装包 https://www.apache.org/dyn/closer.lua/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.11.tgz 好用的下载工具 速度快的没得说 你可以对付费的迅雷说拜拜了 motrix 下载地址 https://motrix.app/ Free Download Manager 下载地址 https://dn3.freedownloadmanager.org/6/latest/fdm.dmg 本地模式安装 解压
Flink 搭建
xiaoyue bigdata的博客
04-06 584
Flink 搭建1、local 本地测试1、flink集群搭建1、standallone cluster1、准备工作2、上传解压3、修改配置文件4、启动集群2、flink on yarn 只需要部署一个节点1、配置HADOOP_CONF_DIR2、将hadoop依赖jar上传到flink lib目录2、flink启动方式1、yarn-session 在yarn里面启动一个flink集群 jobManager2、直接提交任务到yarn 每一个任务都会有一个jobManager2、flink整合
Flink集群搭建教程最详细最简单一看就会
最新发布
2301_81547508的博客
07-19 1138
Flink集群搭建
【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式
weixin_53543905的博客
01-16 3079
YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会 向 Yarn 的 NodeManager 申 请 容 器 。 在 这 些 容 器 上 ， Flink 会 部 署 JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。
flink 搭建集群环境
07-28
要搭建flink集群环境，你需要执行以下步骤： 1. 下载适合你集群环境的flink版本。你可以从官方网站下载flink的二进制文件。根据你的集群环境，选择对应的flink版本进行下载。比如，如果你的集群环境是hadoop2.7.5和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值