flink实战--flink集群的搭建与部署

最新推荐文章于 2024-09-30 11:31:49 发布
置顶 最新推荐文章于 2024-09-30 11:31:49 发布
阅读量1.4w 收藏 14
点赞数 5
分类专栏： Flink学习必读系列 文章标签： flink集群的搭建 flink的集群配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa518189/article/details/82749899
版权
本文详细介绍了如何搭建Flink集群，包括下载适合的Flink版本，解压配置，重点解析了flink-conf.yaml的主要配置项，如JobManager的RPC地址和端口，TaskManager的设置，并提供了启动和停止集群的命令。最后提到了配置文件中的注意事项，如配置项后的空格要求。
摘要由CSDN通过智能技术生成

1.下载Flink压缩包

下载地址：http://flink.apache.org/downloads.html

根据集群环境的情况下载相应的版本的flink压缩包
hadoop2.6，Scala2.11，所以下载：flink-1.5.0-bin-hadoop26-scala_2.11.tgz
在这里插入图片描述

解压

tar -zxf flink-1.5.0-bin-hadoop26-scala_2.11.tgz

配置

这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（flink也是master/slave结构，但是对于此时master的选择是执行启动脚本的机器为master）。但是slave需要我们配置，配置对应的主机名即可（伪分布式和分布式的区别也就是实际上slave节点的个数&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
Flink教程(1)-集群安装与部署
鸟哥哥的专栏
11-01 1万+
Flink教程。Flink集群安装部署。Flink 是一个同时具备流数据处理和批数据处理的分布式计算框架。Flink代码主要是由 Java 实现，部分代码由 Scala实现。Flink既可以处理有界的批量数据集、也可以处理无界的实时数据集。就业界的使用情况而言，Flink处理的主要场景是流式数据。Flink不同于Spark、Hadoop， Flink称得上是一款真正的流、批统一的大数据计算框架。
flink实战-处理oom问题
得救之道就在其中
05-19 3007
最近生产频繁遇到flink的tm挂掉的情况，查看了日志发现如下内存使用情况 可见出现峰值，触发了系统的oom-killer程序，通过查看下系统日志 /var/log/messages 确认了的确触发的系统oom-killer [ pid ] uid tgid total_vm rss nr_ptes swapents oom_score_adj name [21862] 978 21862 2103161 249370 733 0 0
【Flink系列】部署篇（一）：Flink集群部署
m0_37935211的博客
01-12 4345
Flink集群是由哪些组件组成的？它们彼此之间如何协调工作的？ 在Flink中job, task, slots,parallelism是什么意思？集群中的资源是如何调度和分配的？ 如何搭建一个Flink集群？如何配置高可用服务？如何使用外部文件系统？
Flink入门之Standalone模式集群伪分布式搭建
吟啸徐行
03-22 4674
  1：首先配置Java相关环境以及Flink下载，解压就不说了。 2：接下来看看Flink的conf的配置文件：                                                   这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（fl...
Flink集群部署
最新发布
IT深耕十余载，大道之简
09-30 1241
综上所述，Flink集群部署是一个复杂但至关重要的过程。通过仔细准备环境、下载与安装软件、配置参数、启动集群以及进行测试与验证等步骤，可以确保Flink集群的稳定性和可用性。同时，在选择部署模式和注意事项方面也需要根据实际需求进行权衡和决策。Flink支持多种部署模式，包括Standalone模式、YARN模式和Kubernetes模式等。在选择部署模式时，需要考虑集群的规模、资源利用率、可维护性等因素。
搭建Flink的伪分布式
知其然，知其所以然
01-17 1898
一.Flink可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 二.搭建伪分布式Flink: a.这里选择flink的版本是：flink-1.6.2-bin-hadoop24-scala_2.11.tgz b.进行解压： c.解压完成后： d.进入flink的...
Flink 集群部署
FFFSSSFFF6的博客
11-17 1245
根据以下两种条件将集群部署模式分为三种类型：1、集群的生命周期和资源隔离；2、根据程序main()方法执行在Client 还是JobManager。
Flink实战——集群搭建
m0_46332441的博客
04-09 2613
下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。，本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。，则在其余两台节点服务器（hadoop01和hadoop02）上。上，其中，目录位置可以自定义，本文上传的目录位置为。
【Flink系列】部署篇（二）：独立部署高可用Flink集群实战
m0_37935211的博客
01-12 2099
独立模式部署高可用的Flink集群操作步骤，高可用服务采用zookeeper
flink集群部署
huashetianzu的专栏
05-22 185
flink集群配置： 修改flink-conf.yaml jobmanager.rpc.address: centos2 masters文件： centos2:8081 workers文件： centos2 centos3
flink 集群部署
qq_34304427的博客
11-15 576
但是，该模式下，如果集群中的一个作业行为不正常或导致 TaskManager 宕机，则在该 TaskManager 上运行的所有作业都将受到故障的影响。该模式下，集群管理框架 YARN 会为每个提交的作业启动一个单独Flink集群，该集群仅对该作业可用。Application 模式为每个提交的作业创建一个集群，但作业的main 方法将在 JobManager 上执行，以节省提取 job graph 所需的 CPU 周期，也节省客户端下载依赖及将 job graph 及其依赖关系传送到群集所需的带宽。
掌握Flink基础：架构、选型与实战部署
Flink支持多种部署模式，包括本地、standalone集群（包括YARN集群）和云环境。YARN部署通常推荐用于大规模作业，因为它可以利用Hadoop YARN的资源管理能力。 10. **实战演示**： 文章中还包含了一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值