Apache Flink连载（十一）：Flink集群部署-Standalone集群部署

已于 2023-12-28 00:25:17 修改
阅读量1.2k 收藏 22
点赞数 18
分类专栏： 大数据计算体系技术栈 Apache Flink 文章标签： apache flink 大数据
于 2023-12-12 22:52:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/134949463
版权
本文详细介绍了Apache Flink Standalone集群的部署过程，包括节点划分、集群配置、任务提交测试。首先，文章明确了节点角色分配，然后讲解了从下载安装包到配置`flink-conf.yaml`，再到启动Flink集群的步骤。接着，文章演示了通过命令行和Web界面两种方式提交Flink任务，并提供了实时WordCount任务的Java代码示例。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
IT贫道
关注
专栏目录
订阅专栏
Apache Flink连载（十六）：Flink On Standalone任务提交-Standalone Session模式
qq_32020645的博客
12-20 900
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Flink On Standalone 即Flink任务运行在Standalone集群中，Standalone集群部署时采用Session模式来构建集群，即：首先构建一个Flink集群，Flink集群资源就固定了，所有提交到该集群的Flink作业都运行在这一个集群中，如果集群中提交的任务多资源不够时，需要手动增加节点，所以Flink 基于Standalone运行任务一般用在开发测试或者企业实时业务较少的场景下。。
Apache Flink连载（十七）：Flink On Standalone任务提交-Standalone Application模式
qq_32020645的博客
12-21 898
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
Apache Flink Standalone 集群搭建
qq_38189542的博客
08-15 881
背景 因参与大数据项目调研需要使用Apache Flink进行数据处理并写入Elasticsearch数据库，故而整理该集群搭建文章避免遗忘。本次搭建使用三台物理服务器。 服务器信息 192.168.2.244（master、slave） 192.168.2.245（slave） 192.168.2.246（slave） 192.168.2.244作为master节点，同时兼slave节点 其他两台服务器作为slave节点 操作系统 Cent OS 7 软件版本 JDK 14.0.2 Apache F
大数据专家熬夜，终成ApacheFlink1.4.0：Standalone集群模式实践
2401_83384536的博客
03-21 573
有两种方式，一种方式是，通过Flink Web Dashboard，在页面上上传上述jar文件，然后配置输入的参数值，不做过多说明；示例中，我们打算从一个具有3节点的Kakfa集群的topic中读取数据，数据来自网站用户浏览的Apache Server的日志，我们需要将日志行中有用的信息抽取出来，然后再写入到一个新的Kakfa topic中，供下游的其它程序处理，比如可以使用的场景有：实时推荐、实时监控，等等。写入HDFS，调用DataSet的writeAsText方法，传递一个HDFS路径即可。
Flink集群安装部署（Standalone，Yarn模式）
MJK祺的博客
05-19 1508
根据自己所需选择版本，一个是scala版本为2.11，一个是scala版本为2.12，我下载的是flink-1.14.0-bin-scala_2.12.tgz。在完成flink standalone集群部署后，使用Yarn模式提交作业，flink on yarn不需要启动flink集群，只需要启动hadoop集群即可。进入flink的conf目录，修改flink-conf.yaml文件，设置jobmanager.rpc.address为master节点。为了方便，我将解压后的目录重命名为flink。
Flink集群部署总结
csdncjh的博客
07-02 941
Flink有两种部署方式，Standalone和Flink on Yarn集群部署方式。
flink集群安装部署
小健的博客
05-09 927
flink 集群安装部署
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 4084
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
Apache Flink连载（四十）：Flink基于Kubernetes部署 - Kubernetes部署模式之Session Cluster部署-非HA Session Cluster部署及测试
qq_32020645的博客
03-06 220
向K8S部署的Flink集群中提交应用程序如果打印结果到控制台不支持在WebUI中的TaskManager中查看对应的Console日志，主要原因是K8S 基于Docker运行Flink TaskExecutor和JobMaster 进程时不会将STDOUT日志重定向到文件中。基于K8s的Flink Standalone 集群我们可以通过Flink WebUI来提交Flink任务，也可以通过Flink客户端命令提交任务。Session集群WebUI。浏览器中输入的ip可以是K8s集群中任意节点的IP。
Apache Flink连载（二十二）：Flink HA - Flink基于Standalone HA
qq_32020645的博客
12-31 959
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频Standalone模式下，JobManager的高可用性的基本思想是，任何时候都有一个Alive JobManager和多个Standby JobManager。
flink高可用集群搭建（Standalone模式）
hello.reader
03-23 1万+
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。
Flink三种模式介绍&集群的搭建
BXMMJ的博客
04-07 2042
Flink、Flink集群的搭建、Flink三种部署模式、会话模式、单作业模式、应用模式
Flink集群部署
最新发布
weixin_73195042的博客
04-20 1221
创建maven工程，JDK1.8，导入相关依赖</</</</</</</</</</</
Flink 1.15本地集群部署Standalone模式(独立集群模式)
weixin_40344051的博客
07-22 4315
flink sql1.15 部署和flink sql命令操作创建job,完成mysql实时流数据同步
Flink分布式standalone部署方式(第二种方式)
vincent_duan的专栏
09-23 1096
接着上面一节中介绍的，浏览器中输入地址http://swarm-manager:8088/cluster,输出如下： 拿到application_1569070146084_0001，然后在控制台先kill掉：./yarn application -kill application_1569070146084_0001 Run a single Flink job on YARN 之前介绍了...
Flink最全的集群部署攻略（推荐yarn实现企业级部署）
热门推荐
程序员小王的博客
04-15 1万+
flink单机部署模式，不管是学习还是开发尽量不使用，flink自带集群部署，资源管理由flink集群管理，使用zookeeper监听事件，实现独立高可用集群，防止集群的单点故障，推荐开发环境测试使用，flink on yarn: 把资源管理交给yarn实现，计算机资源统一由Haoop YARN管理，推荐生产环境使用。
Apache Flink 集群搭建与部署
kamisamak的博客
07-09 468
Flink 的种安装模式 1.local(本地)——单机模式 2.standalone ——独立模式，Flink 自带集群，开发测试环境使用 3.yarn——计算资源统一由 Hadoop YARN 管理，生产环境测试 standalone 集群环境 前置需求 1. jdk1.8 及以上 配置JAVA_HOME 环境变量 2. ssh 免密码登录...
Flink集群搭建
难得糊涂
03-05 7302
序言 Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。（这句话很重要，资源计算，资源的分配不是Flink当前强项cuiyaonan2000@163.com） 它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置作为独立集群甚至库运行。-----------------------Flink推荐YARN，K8S，Mesos的资源管理器，同时自己也提供自己的资源管理器 Flink的集群环境根据有三种形式：
Apache Flink Standalone集群部署指南
"本文档详细介绍了Apache Flink在独立（Standalone）集群环境下的部署与管理，包括单机模式的安装、作业提交、停止作业以及Flink Standalone集群的搭建和高可用性设置。" Apache Flink是一款强大的开源大数据处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值