单节点部署Flink的配置修改

已于 2022-08-23 21:06:15 修改
阅读量970 收藏
点赞数
分类专栏： Flink 文章标签： flink 大数据 分布式
于 2022-08-11 17:56:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tanqing169/article/details/126237902
版权
本文记录了在单节点部署Flink时遇到的问题及解决办法，包括机器通信和资源配置。通过调整yaml配置文件，增加了相关设置以适应资源限制，并优化了slot数量，以支持更高并行度的测试计算。
摘要由CSDN通过智能技术生成

前言：

网上很多文章说Flink的单节点部署，只需要解压压缩包即可，但是我在单节点部署时产生了一些问题这些问题，其中包括机器通信方面和机器资源方面，在此记录一下

yaml调整配置

  1. 需要在flink-conf.yaml文件中增加的配置
    taskmanager.host: localhost
  2. 因为资源不够修改的配置
    # Job Manger 总内存
jobmanager.memory.process.size: 1024m
# Task Executor 总内存（包含Flink内存和JVM特定内存两部分）
taskmanager.memory.process.size: 2560m
# Flink 内存
taskmanager.memory.flink.size: 2048m
  3. 调整slot的数量，让我们拥有更多的slot从而支持测试更高并行读的计算
    taskmanager.numberOfTaskSlots: 4
tanqing169
关注
专栏目录
Flink 1.13部署指南：深入解析单机与集群模式
击水三千里的专栏
09-22 525
在YARN上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。 在Standalone上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。
Ambari部署Flink
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
07-23 1582
这个比较靠谱，下面操作的是单机 https://blog.csdn.net/high2011/article/details/90272331 从github上clone ambari-flink-service到对应目录 sudogitclonehttps://github.com/abajwa-hw/ambari-flink-service.git/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/FLI...
Flink基础 之 单节点集群搭建（Standalone Cluster）
飞朋的博客
09-18 2152
前提 软件前提 Flink 运行在所有类 unix 环境上，例如 Linux、Mac OS X 和 Cygwin(适用于Windows)，并期望集群由一个主节点和一个或多个工作节点组成。在开始安装系统前，请先在每个节点安装以下软件： Java1.8或更高版本 ssh 在所有集群节点上使用 ssh 免密登录和相同的目录结构将使用脚本控制一切。 JAVA_HOME配置 Flink 要求在主...
单机单节点Flink的部署
weixin_44328192的博客
09-17 2204
单机单节点Flink的部署
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
苍煜
07-24 3246
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署
胖胖的博客
03-07 2026
同样由客户端运行应用程序(需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业，需要启动两个集群)，然后启动集群，作业提交给JobManager，进而分发给TaskManager执行。我们需要先启动一个集群，保持一个会话，在这个会话中通过客户端提交作业(需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业，然后将作业提交给jobManager)。一个应用启动一个集群。会话模式、单作业模式，都需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业。
Linux-flink单节点安装
m0_61813695的博客
06-28 1057
Flink官网：Operations | Apache FlinkFlink和Kafka对应关系访问Maven仓库：https://mvnrepository.com/ 查询flink-connector-kafka 本文flink使用版本为：flink-1.15.4-bin-scala_2.12.tgz 所以对应Kafka版本为： 本文使用版本为：Flink下载地址（全量版本均可下载：Downloads | Apache Flink）flink-1.15.4-bin-scala_2.12.tgz 国
Flink 优化 (一) --------- 资源配置调优
在森林里麋了鹿
04-11 1203
Flink 资源配置调优
Flink 集群配置部署
lyd882的博客
09-12 945
部署模式一： standalone模式： 规划：185-187三台centos7主机，185作为JobManager,186和187作为TastManager 1.下载flink-1.7.1-bin-scala_2.12.tgz，不要下带hadoop依赖库版本。 2.解压 3.配置flink-1.7.1/conf/flink-conf.yaml,配置说明： ##########...
Flink原理与实践-Flink的部署和配置.pdf
12-16
Flink原理与实践-Flink的部署和配置 Flink是一个流行的开源大数据处理引擎，支持实时和批处理，具有高性能、灵活性和可扩展性等特点。在实际应用中，Flink的部署和配置是一个非常重要的环节，本节将详细介绍Flink的...
【Flink】Flink（一）单节点启动以及集群环境启动
JeffHan^_^的博客
04-26 1529
在进行Flink部署之前，我们需要事先准备好以下几个条件1.()两台虚拟机2.(推荐)固定以下两台Centos的IP可以参考下面文章3.(推荐)配置SSH免密登录参考下面文章4.()配置Java环境参考下面文章前半段5.()下载Flink安装包我这里下载的是flink1.17版本。
Flink单机和集群环境部署教程
最新发布
qq_42568323的博客
08-08 1153
通过以上步骤，我们成功部署了 Flink 单机和集群环境，并实现了一个简单的 Word Count 应用。Flink 提供了强大的流处理和批处理能力，可以在多种场景下处理实时数据。
Flink环境部署
dafsq的博客
03-20 921
Flink环境部署
Flink｜《Flink 官方文档 - 部署 - 内存配置 - 调优指南 & 常见问题》学习笔记
长行
01-18 1061
因此，托管内存对应用性能有直接影响，Flink 会在不超过其配额限制的前提下，尽可能多地分配托管内存。如果 Flink 容器尝试分配超过其申请大小的内存（Yarn 或 Kubernetes），则通常说明 Flink 没有预留出足够的本地内存。解决方法：可以通过增大总内存、TaskManager 的任务堆内存、JobManager 的 JVM 堆内存等方法来增大 JVM 堆空间。报错原因：JVM 的直接内存限制过小，或者存在直接内存泄漏（Direct Memory Leak）报错原因：JVM 的堆空间过小。
flink部署-1.16
第一片心意的博客
03-31 1541
本文为 flink 1.16 官网中部署相关部分的内容翻译整理。
Flink-安装部署及部署模式介绍
qq_30868737的博客
01-27 5693
Flink支持三大部署模式： 1. Local 本地部署 Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.7.x或更高版本，本地运行会启动Single JVM，主要用于测试调试代码。 2. Standalone Cluster集群部署 Flink自带了集群模式Standalone，这个模式对软件有些要求： 1.安装Java1.8或者更高版本 2.集群各个节点需要ssh免密登录 3. Flink ON YARN Flink ON YAR
Flink 调优：Slot and Parallelism
GatsbyNewton
04-07 1926
Flink 的并发度的设置直接影响应用程序的性能，本文介绍了应该如何设置并发度的方法。
Mac M3 Pro 部署Flink-1.16.3
自律给我自由
06-17 506
mac 本地部署 flink组件
Apache Flink Standalone集群部署指南
Flink的Standalone集群模式和高可用性配置是大数据应用中常用的部署方式，它能够提供稳定的运行环境和容错机制，保证在节点故障时能够快速恢复服务，保障数据处理的连续性。通过熟练掌握这些知识，你可以有效地管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值