Flink实战——集群搭建

已于 2024-04-11 16:03:14 修改
阅读量2.6k 收藏 28
点赞数 10
分类专栏： 大数据 Flink 文章标签： flink 大数据
于 2024-04-09 17:00:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46332441/article/details/137519959
版权

目录

一、引言

1.1 本文目标

1.2 预备工作和软件版本说明

二、集群规划

三、搭建步骤

3.1 解压安装包

3.2 集群文件配置

3.2.2 workers文件配置

3.2.3 masters文件配置

3.3 分发配置文件

3.4 修改TaskManager节点地址

3.5 测试

3.5.1 集群启动成功 

3.5.2 Web UI页面启动成功

四、集群启动报错问题

一、引言

1.1 本文目标

        本文主要在Linux系统上对大数据处理引擎Flink的相关安装步骤进行介绍。

1.2 预备工作和软件版本说明

        在具体搭建本文的Flink集群之前，首先需要读者在Linux系统上安装和部署过Hadoop集群（3台节点服务器），本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。

        同时，为避免相应版本之间的冲突，本文将所使用的相关软件版本汇总至如下表1所示情况。

表1 相关软件版本说明
软件名称 软件版本号
jdk 1.8
hadoop 3.1.3
flink 1.17

二、集群规划

        本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。

表2 节点服务器的角色分配

节点服务器名称

hadoop00

hadoop01

hadoop02

角色规划

JobManager

TaskManager

TaskManager

TaskManager

三、搭建步骤

3.1 解压安装包

        （1）从官网或其他相关途径下载flink-1.17.0-bin-scala_2.12.tgz版本，其中官网下载途径可见地址

最低0.47元/天 解锁文章
啥都仅会亿点点的猿
关注
专栏目录
Flink集群的搭建
加油
11-05 340
2、提交任务会共用一个JobManager，动态的申请TaskManager，任务取消，TaskManager就会被释放。前面的两种模式都是一次只会服务一个任务，但是这个可以同时启动多个任务，此时就会产生一个问题，那就是如果其中某一个任务失败的化，那么后面的任务可能都会失败。1、如果业务的要是是实时的业务，那么就选择独立集群模式，因为yarn是基于Hadoop，适合做离线的。也可以使用Web来提交任务，功能与独立集群的模式基本一致，但是不同的是他是建立在Yarn的模式上。2、在本地是看不见错误的。
Flink实战——每隔5秒，统计最近10秒的窗口数据
Siobhan_Mxin的博客
12-20 4015
flink实战1
Flink_Flink 集群搭建
迎难而上
05-22 2731
本文主要讲解下 flink 如何搭建 ： 单节点集群 standalone 集群 yarn session 集群 最近学习了下 Flink ，看了许多天的书，一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。 单节点集群 单节点集群，其实不难。主要我是虚拟机器，内存很小，所以我们要调整 task-manager 的内存参数。 task-manager 的内存分配管理 与 参数配置 是一个大问题，我专门写了一篇文章 ： ...
Flink1.7从安装到体验
热门推荐
程序员欣宸的博客
12-16 1万+
本文实战Flink1.7的安装和Demo运行过程；
Flink集群部署
最新发布
IT深耕十余载，大道之简
09-30 1245
综上所述，Flink集群部署是一个复杂但至关重要的过程。通过仔细准备环境、下载与安装软件、配置参数、启动集群以及进行测试与验证等步骤，可以确保Flink集群的稳定性和可用性。同时，在选择部署模式和注意事项方面也需要根据实际需求进行权衡和决策。Flink支持多种部署模式，包括Standalone模式、YARN模式和Kubernetes模式等。在选择部署模式时，需要考虑集群的规模、资源利用率、可维护性等因素。
Flink集群搭建
难得糊涂
03-05 7303
序言 Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。（这句话很重要，资源计算，资源的分配不是Flink当前强项cuiyaonan2000@163.com） 它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置作为独立集群甚至库运行。-----------------------Flink推荐YARN，K8S，Mesos的资源管理器，同时自己也提供自己的资源管理器 Flink的集群环境根据有三种形式：
flink集群搭建
luo981695830的博客
11-21 1321
flink集群搭建及测试
Flink实战——Yarn运行模式部署
m0_46332441的博客
04-10 2054
会话模式下的相关Linux操作命令见下方：1. 开启Yarn会话命令（会话模式需要单独开启一个YARN会话2.命令行提交作业命令com.DemoDemo.jar其中，红色标注字体为用户根据实际情况所设定的类名和Jar包名。
Flink实战——历史服务器配置
m0_46332441的博客
04-11 1084
读者在展开下文配置之前，首先确保已经部署了Flink1.17版本，同时对Yarn运行模式进行了相应配置，若读者尚未配置相关内容，可以查看。其次，找到Flink安装包的conf目录位置处(作者的目录位置为/opt/module/flink1.17/conf)，(如本文是hadoop:8082)的方式，查看是否成功配置历史服务器，若页面非报错则历史服务器配置成功，否则反之。，其中namenode路径，hdfs设置的日志路径，历史服务器的Web页面以及历史服务器的归档位置，首先，采用如下的Linux命令，
大数据工程师 Flink技术与实战 源码笔记下载
10-15
1. **Flink安装与环境配置**：如何搭建本地或分布式Flink集群，配置参数优化等。 2. **基本概念和架构**：介绍Flink的基本概念，如Job、Task、Operator、DataStream，以及Flink的运行架构。 3. **Flink程序开发**...
Flink Standlone集群搭建
胖虎儿的博客
07-10 8029
Flink Standlone集群搭建详细教程
Flink高手之路2-Flink集群的搭建
W_chuanqi的博客
03-23 4007
准备好数据文件上传hdfs首先要确保 hdfs 集群已经启动发现我们以前已经上传过了提交命令这个错误需要把flink-1.16.1与hadoop3进行集成。查看 flink web ui查看 hdfs web UI点击一个文件查看重启集群删除hdfs上以前创建的output文件夹提交任务，使用之前上传的数据查看结果杀掉hadoop001的master进程，并再次提交任务再次删除hdfs上之前创建的output文件夹再次提交任务，可以正常运行并查看结果，说明高可用搭建成功。
【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式
weixin_53543905的博客
01-16 3316
YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会 向 Yarn 的 NodeManager 申 请 容 器 。 在 这 些 容 器 上 ， Flink 会 部 署 JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。
Flink 集群搭建
weixin_44393345的博客
06-02 495
Flink 集群搭建Flink 可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 3.1Standalone 模式安装 我们对 standalone 模式的 Flink 集群进行安装，准备三台虚拟机，其中一台作为 JobManager（hadoop-senior01），另外两台作为 TaskManager（hadoop-se
flink standalone集群搭建
06-28
### 回答1： Flink standalone集群搭建步骤如下： 1. 下载Flink安装包并解压缩到指定目录。 2. 配置Flink集群的masters和workers节点，可以在conf目录下的masters和workers文件中进行配置。 3. 启动Flink集群的masters节点，可以使用bin/start-cluster.sh命令启动。 4. 启动Flink集群的workers节点，可以使用bin/taskmanager.sh start命令启动。 5. 验证Flink集群是否正常运行，可以使用bin/flink list命令查看当前运行的Flink作业。 6. 在Flink集群中提交作业，可以使用bin/flink run命令提交作业。 7. 监控Flink集群的运行状态，可以使用Flink的Web UI或者JMX监控工具进行监控。 以上就是Flink standalone集群搭建的基本步骤，希望对您有所帮助。 ### 回答2： Apache Flink是一个处理流和批量数据的通用分布式计算引擎，可在大规模数据集上快速实现低延迟和高吞吐量。Flink提供了一个Standalone集群模式，使开发人员可以在自己的本地机器上测试和验证他们的应用程序，而无需构建一个完整的分布式环境。在本文中，我们将介绍如何搭建一个Flink Standalone集群。 1. 确保你的环境满足Flink的要求，比如安装Java环境等。 2. 下载Flink二进制文件。从Flink官网下载最新的tar文件，然后解压到一个目录下。 3. 配置Flink。打开conf/flink-conf.yaml文件，配置Flink的参数，比如jobmanager.rpc.address（JobManager监听的主机地址），taskmanager.numberOfTaskSlots（每个TaskManager能够执行的任务数）等。 4. 启动JobManager。在Flink的bin目录下执行以下命令： ./start-cluster.sh 这将启动JobManager和TaskManager进程。 5. 访问Flink Web Dashboard。在浏览器中输入http://localhost:8081，可以访问Flink Web Dashboard。这里可以查看集群的状态、运行中的任务、日志等。 6. 启动应用程序。使用Flink提供的运行脚本（bin/flink run）来提交应用程序。 7. 观察应用程序的运行状态。可以在Flink Web Dashboard中查看应用程序的运行状态和日志，还可以监控各种指标，如吞吐量、延迟、资源使用情况等。 8. 停止集群。在bin目录下执行以下命令： ./stop-cluster.sh 这将停止JobManager和TaskManager进程。 总之，通过Flink Standalone集群，您可以在本地机器上测试和验证您的应用程序，并且几乎没有任何成本。值得注意的是，Standalone集群并不适合生产环境，但当您需要在本地机器上调试应用程序时，它是一个很好的选择。 ### 回答3： Apache Flink是一个开源的分布式流处理系统。它以高效、可伸缩和容错为设计目标，因此广泛应用于大数据领域。Flink可以运行在各种集群上，包括Hadoop YARN和Apache Mesos等。在本文中，我们将讨论如何在Flink standalone集群上搭建分布式流处理系统。 Flink standalone集群搭建的准备工作： 在搭建Flink standalone集群之前，需要确保已经完成以下准备工作： 1. 安装Java 8或更高版本。 2. 下载Flink发行版，并解压缩至安装目录。 Flink standalone集群搭建的步骤： 1. 在主节点上启动Flink集群管理器。在Flink所在目录下，输入以下命令： ./bin/start-cluster.sh 2. 查看集群状态。在Flink所在目录下，输入以下命令： ./bin/flink list 如果输出结果为空，则说明集群状态正常。 3. 在从节点上启动TaskManager。在从节点所在机器上，输入以下命令： ./bin/taskmanager.sh start 4. 查看TaskManager状态。在从节点所在机器上，输入以下命令： ./bin/taskmanager.sh status 如果输出结果为“正常运行”，则说明TaskManager已经成功启动。 5. 提交Flink作业。在Flink所在目录下，输入以下命令： ./bin/flink run ./examples/streaming/SocketWindowWordCount.jar --port 9000 其中，SocketWindowWordCount.jar是一个简单的Flink作业，用于计算流式数据的词频统计。 6. 监控作业运行情况。在浏览器中输入以下地址： http://localhost:8081 可以查看作业的运行状态、性能指标等信息。 总结： 通过以上步骤，我们已经成功搭建了Flink standalone集群，并提交了一个简单的流处理作业。需要注意的是，本文仅提供了基础的搭建步骤，实际生产环境中还需要进行更加细致的配置和管理。同时，Flink具有丰富的API和生态系统，可以灵活应对不同的数据处理场景。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值