【Flink】jobmanager到底设置多少内存为好

已于 2022-12-07 17:19:57 修改
阅读量4.5k 收藏 2
点赞数
分类专栏： Flink实战 文章标签： flink 大数据
于 2022-03-28 18:07:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/123801309
版权
本文讨论了在Flink 1.12版本中如何合理设置JobManager的内存参数，包括JVM堆内存、堆外内存、元空间和JVM额外开销。提到了配置不当可能导致的任务提交失败，并提供了计算总进程内存的公式以及避免设置过小的建议。通过`jobmanager.memory.process.size`参数可以设置JobManager的总内存大小。
摘要由CSDN通过智能技术生成

本flink版本基于1.12

在做flink开发过程中会遇到内存参数设置问题，如果设置过小会造成flink任务无法提交，那到底我们应该把flink的jobmanager设置多大才不会报错呢？我们先看下FlinkUI，jobmanager组成如图所示：

 JVM Heap ：由参数jobmanager.memory.heap.size控制，是jvm堆内存

Off-Heap Memory：由参数jobmanager.memory.off-heap.size控制，默认128M，是JobManager的堆外内存大小。这个选项涵盖了所有堆外内存的使用，包括直接和本机内存分配。如果jobmanager.memory.enable-jvm-direct-memory-limit启用则JobManager进程的JVM直接内存限制(-XX:MaxDirectMemorySize)将被设置为这个值。

JVM metaspace：默认 256mb，是JVM 元空间

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一杯咖啡半杯糖
关注
专栏目录
订阅专栏
【Flink】JobManager memory configuration failed: Sum of configured JVM Metaspace (256.000mb
一杯咖啡半杯糖的博客
03-28 2032
当我们设置jobmanager内存的时候，如果设置过小会出现如下问题（红色部分已标出） 提交参数如下 flink run -t yarn-per-job -D yarn.application.queue=test -Djobmanager.memory.process.size=100m -c com.test.Test /data/shan/flink-example-1.0-SNAPSHOT.jar 显示的日志如下 2022-03-28 16:58:32,875 INFO org.ap.
【Flink】taskmanager到底设置多少内存为好
热门推荐
一杯咖啡半杯糖的博客
03-30 1万+
本flink版本基于1.12 在做flink开发过程中会遇到内存参数设置问题，如果设置过小会造成flink任务无法提交，那到底我们应该把flink的jobmanager设置多大才不会报错呢？我们先看下FlinkUI，jobmanager组成如图所示： ...
一次Flink on yarn 任务JobManager内存超用问题排查
weixin_41461158的博客
05-13 1621
有道实时平台的所有flink任务运行在yarn集群上，前段时间，为提升和改善有道flink任务运行稳定性，对实时yarn集群进行了迁移（将实时yarn nodemanger机器进行独立，并将所有实时任务迁移至新机器上）。迁移后，发现约200个任务频繁发生JobManager重试，几乎每30min出现一次重试，严重影响任务稳定性。yarn看到flink任务的application_id在不断attempt重试，几乎每30min重试一次。点击失败的一次“Attempt ID”，查看失败原因。
Flink内存调优
最新发布
HHoao的博客
08-24 1241
基于 JVM 内存存在一些问题，并且在大数据场景下，无法在内存中存储海量数据，计算效率无法提高。Flink 社区采用自主内存管理设计，设计了两种内存模型 JobManager 内存模型和 TaskManager 内存模型。
【Flink 核心篇】Flink 内存管理（二）：JobManager 内存分配（含实际计算案例）
书山有路，学海无涯。记录成长，追逐梦想
02-24 2505
以上 Total Process Memory 的模型图可以分为以下的 4 个内存组件，如果在分配内存的时候，显示的指定了组件其中的1个或者多个，那么JVM Overhead的值就是在其它组件确定的情况下，用Total Process Size- 其它获取的值，必须在min-max之间，如果没有指定组件的值，那么就按照0.1 的比例进行计算得到，如果计算出的值小于min取min，如果大于max取max，如果min、max指定的相等，那么这个JVM Overhead就
配置 Flink JobManager内存
hyunbar的博客
12-28 1057
《从0到1学习Flink》—— Flink JobManager 高可用性配置
http://www.54tianzhisheng.cn/
03-03 614
转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/ , 未经允许禁止转载。 前言 之前在 《从0到1学习Flink》—— Flink 配置文件详解 讲过 Flink 的配置，但是后面陆续有人来问我一些配置相关的东西，在加上我现在对 Flink 也更熟悉了些，这里我就再写...
Flink(九)：JobManager 内存简介
在前进的路上
03-26 3232
JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成ResourceManager、Dispatcher、JobMaster。需对JobManager 内存详细了解，以及内存在整体上以及细粒度上的配置方法 二、JobManager 内存模型简介 三、运用
flink任务内存调优，TaskManager、JobManager内存配置
weixin_47019045的博客
06-28 7254
Flink是基于java的JVM运行，拥有高效的数据处理能力，但是考虑到用户在 Flink 上运行的应用的多样性，尽管flink框架已经为所有配置项提供合理的默认值，仍无法满足所有情况下的需求。 flink进程总内存、taskmanager内存、jobmanager内存配置...
Flink JobManager原理与代码实例讲解
AI天才研究院
06-19 713
Flink JobManager原理与代码实例讲解 1.背景介绍 Apache Flink 是一个开源的流处理框架，广泛应用于实时数据处理和大数据分析领域。Flink 的核心组件之一是 JobManager，它负责管理和协调 Flink 作业的执行。理解 JobManage
【Flink 基础】-- 如何设置 TaskManager、Solt和 Parallelism
欢迎来到我的博客，一起探索代码里的世界！
02-19 4714
一、概念理解 solt：把 slot 看做 cpu 的核一个slot一可以并行跑很多作业 并发度：一个算子有多少个运行实例 关系： slot数 = 最大并发度、一个slot一可以同时运行不同算子的一个实例 二、参数设置说明  计算 TaskManager 数量: 50/4 = 13 ， 13个TM一共可以提供13*4=52 个 slot。最大并发是50，只占了 50 slot，还剩下...
Flink JobManager内存管理机制介绍与调优总结
cloudbigdata的博客
11-15 2663
作者：董伟柯，腾讯云大数据高级工程师概要我们知道，旧版本 Flink 的 JobManager 作为管理者，只承担着初始化和协调的任务，内存压力非常小，很少出现 OOM 等问题。但是，随着 Flink CDC [1] 实时数据捕获技术的广泛应用，以及采用 Flink 新版 Source 接口（FLIP-27: Refactor Source Interface [2]）的 Connector 日渐...
Flink JobManager 内存占用大 问题
u010374412的博客
12-01 2741
当在 本地启动一个 flink 简单的 job 时候，发现出现了 heap outMemeory 问题，然后就不假思索的 调整了 jvm 的 heap -Xms1000m -Xmx16000m 参数，就可以正常的启动了。通过 jvisualvm 连接上 这个 jvm process，参看 堆大小 竟然达到了 4、5G。
聊聊flink JobManager的heap大小设置
weixin_33919941的博客
02-18 2166
序 本文主要研究一下flink JobManager的heap大小设置 JobManagerOptions flink-core-1.7.1-sources.jar!/org/apache/flink/configuration/JobManagerOptions.java @PublicEvolving public class Job...
Flink：配置基于yarn的JobManager 高可用
啥也不会的博客
09-13 1595
前言 JobManager 用于协调每个Flink任务的调度和资源管理。默认情况下，每个Flink集群只有一个JobManager实例。那么就意味着存在单点故障。如果JobManager崩溃，就不能提交新的任务，且运行中的任务也会失败。 JobManager 高可用可以在JobManager挂掉后，恢复JobManager，从而消除单点故障。 Flink独立部署和部署在Yarn上都可以使用JobManager高可用，生产环境中大多是部署在yarn上的。 基于Yarn的JobManager高可用任然只
Flink JobManager的高可用配置
lixia0417mul2的博客
09-10 731
flink jobmanager高可用配置
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值