【Flink 核心篇】Flink 内存管理（二）：JobManager 内存分配（含实际计算案例）

已于 2024-05-26 18:12:46 修改
阅读量2.6k 收藏 33
点赞数 43
分类专栏： # Flink 文章标签： 大数据 flink 内存分配 jvm 内存管理 内存
于 2024-02-24 12:32:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Be_racle/article/details/136265544
版权

《Flink 内存管理》系列（已完结），共包含以下 4 篇文章：

😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧 （点赞 🧡、关注 💛、收藏 💚）！！！您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容！！！

Flink 内存管理（二）：JobManager 内存分配

JobManager 是 Flink 集群的控制元素。它由三个不同的组件组成： 资源管理器（Resource Manager）、调度器（Dispatcher）和每个运行中的 Flink 作业的一个作业管理器（JobMaster）。

JobManager 的内存模型如下：
在这里插入图片描述
以上 Total Process Memory 的模型图可以分为以下的 4 个内存组件，如果在分配内存的时候，显示的指定了组件其中的 1 1 1 个或者多个，那么 JVM Overhead 的值就是在其它组件确定的情况下，用 Total Process Size - 其它获取的值，必须在 min - max 之间，如果没有指定组件的值，那么就按照 0.1 0.1 0.1 的比例进行计算得到，如果计算出的值小于 min 取 min，如果大于 max 取 max，如果 min、max 指定的相等，那么这个 JVM Overhead 就是一个确定的值！

内存组件
配置选项
内存组件的功能
JVM Heapjobmanager.memory.heap.sizeJobManager 的 JVM 堆内存大小。这个大小取决于提交的作业个数和作业的结构以及用户代码的要求。主要用来运行 Flink 框架，执行作业提交时的用户代码以及 Checkpoint 的回调代码。
Off-Heap Memoryjobmanager.memory.off-heap.sizeJM 的对外内存的大小。涵盖了所有 Direct 和 Native 的内存分配。用来执行 akka 等外部依赖，同时也负责运行 Checkpoint 回调及作业提交时的用户代码，有默认值 128 M 128M 128M。
JVM Metaspacejobmanager.memory.jvm-metaspace.sizeJM 的元空间大小，有默认值 256 M 256M 256M， 属于 Native Memory。
JVM Overheadjobmanager.memory.jvm-overhead.min jobmanager.memory.jvm-overhead.max jobmanager.memory.jvm-overhead.fractionJVM 额外开销。为 Thread Stacks，Code Cache，Garbage Collection Space 预留的 Native Memory，有默认的 faction of total process size，但是必须在其 min & max 之间。

在 《Flink 内存管理（一）：设置 Flink 进程内存》中我们提到，必须使用下述三种方法之一配置 Flink 的内存（本地执行除外），否则 Flink 启动将失败。这意味着必须明确配置以下选项子集之一，这些子集没有默认值。

序号for TaskManagerfor JobManager
1️⃣taskmanager.memory.flink.sizejobmanager.memory.flink.size
2️⃣taskmanager.memory.process.sizejobmanager.memory.process.size
3️⃣taskmanager.memory.task.heap.size 和 taskmanager.memory.managed.sizejobmanager.memory.heap.size

1.分配 Total Process Size

  • jobmanager.memory.process.size

在这里插入图片描述
在这里插入图片描述

此时我们只显示指定了 jobmanager.memory.process.size 的值，没有指定其它组件，此时整个 JobManager 的 JVM 进程能占用的内存为 2000 M 2000M 2000M。

  • Total Process Size = 2000 M = 2000M =2000M（这是分配的基准值）
  • JVM Overhead 因为没有指定其它组件内存，所以被按照 0.1 0.1 0.1 的比例推断成： 2000 M × 0.1 × 1024 × 1024 = 209715203 B = 200 M 2000M × 0.1 × 1024 × 1024 = 209715203B = 200M 2000M×0.1×1024×1024=209715203B=200M
  • JVM Metaspace 默认值为 256 M 256M 256M
  • Off-Heap Memeory 默认值为 128 M 128M 128M
  • JVM Heap 最终被推断为 2000 M − 200 M − 256 M − 128 M = 1.38 G 2000M - 200M - 256M - 128M = 1.38G 2000M−200M−256M−128M=1.38G

为啥 JVM Heap 只有 1.33 G B 1.33GB 1.33GB 而不是 1.38 G B 1.38GB 1.38GB 呢？

在这里插入图片描述
其实这个取决于你使用的 GC 算法会占用其中很小一部分固定内存作为 Non-Heap，该占用部分大小为： 1.38 − 1.33 = 0.05 G B 1.38-1.33 = 0.05GB 1.38−1.33=0.05GB。

2.分配 Total Flink Size

  • jobmanager.memory.flink.size

在这里插入图片描述
在这里插入图片描述

此时我们只显示指定了 jobmanager.memory.flink.size 的值，也没有指定其它组件如 Heap Size，此时整个 JobManager 的 JVM 进程除了 JVM Overhead 及 JVM Metaspace 之外能占用的内存为 2000 M 2000M 2000M。

  • Total Flink Size = 2000 M = 1.95 G = 2000M = 1.95G =2000M=1.95G（这属于 Total Process Size 的组件之一，Overhead 只能最后按剩余的内存来被推断）
  • JVM Metaspace 默认值为 256 M 256M 256M（固定默认值）
  • Off-Heap Memeory 默认值为 128 M 128M 128M（固定默认值）
  • JVM Heap = 2000 M − 128 M − 80 M B （ G C 算法占用） = 1.75 G B = 2000M - 128M - 80MB（GC算法占用）= 1.75GB =2000M−128M−80MB（GC算法占用）=1.75GB
  • 根据 JVM Overhead = = =(JVM Overhead + Metaspace 256 M 256M 256M + Flink Size 2000 M ) ×   0.1 2000 M) ×\ 0.1 2000M)× 0.1，计算可得：
    • Total Process Size = 2.448 G B = 2.448GB =2.448GB
    • JVM Overhead = 2.448 G B × 0.1 = 262843055 B = 250.667 M B = 2.448GB × 0.1 = 262843055B = 250.667MB =2.448GB×0.1=262843055B=250.667MB，在 192 M ～ 1 G B 192M～1GB 192M～1GB，为有效

最终资源的分配如以下日志所示：

在这里插入图片描述

3.单独分配 Heap Size

  • jobmanager.memory.heap.size

在这里插入图片描述
在这里插入图片描述

此时我们只显示指定了 jobmanager.memory.heap.size 的值，相当于显示配置了组件的值，此时整个 JobManager 的 JVM Heap 被指定为最大内存为 1000 M 1000M 1000M。

  • JVM Heap 被指定为 1000 M 1000M 1000M，但是得从 GC 算法中扣除 41 M B 41MB 41MB，实际 JVM Heap = 959 M B = 959MB =959MB
  • JVM Metaspace 默认值为 256 M 256M 256M
  • Off-Heap Memeory 默认值为 128 M 128M 128M
  • Total Flink Size = 1128 M B = 1.102 G B = 1128MB = 1.102GB =1128MB=1.102GB
  • JVM Overhead = ( 1128 M B + 256 M + = (1128MB + 256M + =(1128MB+256M+ JVM Overhead ) × 0.1 ) × 0.1 )×0.1
    • JVM Overhead = 153.778 < 192 M B = 153.778 < 192MB =153.778<192MB（默认的 min），所以 JVM Overhead = 192 M B = 192MB =192MB
  • Total Process Size = 1128 M B + 256 M + = 1128MB + 256M + =1128MB+256M+ JVM Overhead = 1576 M B = 1.5390625 G B = 1.539 G B = 1576MB = 1.5390625GB = 1.539GB =1576MB=1.5390625GB=1.539GB

在这里插入图片描述

4.分配 Total Process Size 和 Heap Size

在这里插入图片描述
在这里插入图片描述
由于指定了 heap.size 内存组件的的大小，那么 JVM Overhead 就是取剩余的 Total Process Size 的内存空间。

  • Total Process Size = 2000 M B = 2000MB =2000MB && JVM Heap = 1000 M B = 1000MB =1000MB，实际只有 959 M B 959MB 959MB，因为减去了 41 M B 41MB 41MB 的 GC 算法占用空间
  • JVM Metaspace 默认值为 256 M 256M 256M
  • Off-Heap Memeory 默认值为 128 M 128M 128M
  • Total Flink Size = 1000 M B + 128 M B = 1128 M B = 1000MB + 128MB = 1128MB =1000MB+128MB=1128MB
  • JVM Overhead = 2000 M B − 1128 M B − 256 M B = 616 M B = 2000MB - 1128MB - 256MB = 616MB =2000MB−1128MB−256MB=616MB

在这里插入图片描述

5.分配 Total Flink Size 和 Heap Size

在这里插入图片描述
在这里插入图片描述

由于指定了 head.size 组件的大小，那么 Overhead 就按照剩余 Total Process Size 的内存空间分配。

  • Total Flink Size = 2000 M B = 2000MB =2000MB && JVM Heap = 1000 M B = 1000MB =1000MB，实际 959 M B 959MB 959MB，减去了 GC 算法的占用空间
  • JVM Off-Heap = 2000 M B − 1000 M B = 1000 M B = 2000MB - 1000MB = 1000MB =2000MB−1000MB=1000MB
  • JVM Metaspace = 256 M B = 256MB =256MB
  • 首先根据 JVM Overhead = ( = ( =(JVM Overhead + + + Metaspace 256 M 256M 256M + + + Flink Size 2000 M ) × 0.1 2000M) × 0.1 2000M)×0.1
    • Total Process Size = 2.448 G B = 2.448GB =2.448GB
    • JVM Overhead = 2.448 G B × 0.1 = 262843055 B = 250.667 M B = 2.448GB × 0.1 = 262843055B = 250.667MB =2.448GB×0.1=262843055B=250.667MB，在 192 M ～ 1 G B 192M～1GB 192M～1GB，为有效
  • 最终确定 Total Process Size = 2.448 G B = 2.448GB =2.448GB && JVM Overhead = 250.667 M B = 250.667MB =250.667MB

在这里插入图片描述

【Flink】jobmanager到底设置多少内存为好
一杯咖啡半杯糖的博客
03-28 4546
本flink版本基于1.12 在做flink开发过程中会遇到内存参数设置问题，如果设置过小会造成flink任务无法提交，那到底我们应该把flink的jobmanager设置多大才不会报错呢？我们先看下FlinkUI，jobmanager组成如图所示： JVM Heap ：由参数jobmanager.memory.heap.size控制，是jvm堆内存 Off-Heap Memory：由参数jobmanager.memory.off-heap.size控制，默认128M，是JobManager的.
Flink JobManager | TaskManager内存模型
weixin_40278610的博客
05-01 1323
Flink内存模型分析 JobManager内存模型 TaskManager内存模型 内存模型分析 Flink使用内存（Total Flink Memory）=框架堆内存+框架堆外内存+task堆内存+task堆外内存+网络缓冲内存+托管内存 进程内存（Total Process Memory）=Flink使用内存+JVM元空间+JVM执行开销 不建议同时设置进程总内存和 Flink总内存。这可能会造成内存配置冲突，从而导致部署失败。 通常情况下，不建议对框架堆内存和框架堆外内存进行调整。 如果只配置了进
关于Flink内存分配核心知识点
最新发布
微信搜：import_bigdata，大数据领域硬核原创作者
08-26 2345
这个问题同样也是之前辅导过的同学的面试问题，这个问题非常接地气且考察面试者的实践经验。事实上，这也是我们大数据提高班的Flink专项提高部分内容。下面我列举的这些就是核心，能答出这些重点即可。内存模型在Flink1.9和Flink1.11版本做了非常大的改动，主要原因是为了统一Batch和Streaming的内存配置。首先我建议大家只看Flink1.11版本的内存配置即可。有两个FLIP可以参考，...
flink-jobmanager
weidaoyouwen的专栏
02-13 5974
一般来说我们知道武功分为内功和外功。外功其实是很好练的，而且很实用，练完就可以打人。而我们实战同样也是，看完就可以干活。这就是我们的外功。但是如果你想把事情做得更好，遇到问题能够更好地解决，那就需要练内功，这就是我们系统学习所要学习的Flink的一些概念机制等。下面我们开始修炼内功，看下Flink的分布式执行。Flink的分布式执行包括两个重要的进程，master和worker。 执行Flink程...
Flink Job Manager
kankan_s的专栏
09-05 307
主 Job Manager 负责作业的调度和管理，备份 Job Manager 会监控主 Job Manager 的状态，以便在主 Job Manager 故障时接管作业管理任务。如果某个 Task Manager 或作业的部分任务出现故障，Job Manager 可以触发故障恢复机制，重新分配任务给其他可用的 Task Manager，以确保作业的连续运行。总的来说，Flink Job Manager 是 Flink 集群中的中央协调器，负责接收、管理、监控和维护用户提交的作业。
Flink之JobManager和 TaskManager
热门推荐
鸡排小农的博客
03-25 1万+
1.什么是Flink Flink是由Apache开发的开源分布式流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink可以执行批处理和流处理程序，Flink 将批处理（即处理有限的静态数据）视作一种特殊的流处理。 2.流处理 在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你分析数据时，可以围绕 有界流（bounded）或 无界流（unbounded）两种模型来组织处理数据
Flink(九)：JobManager 内存简介
在前进的路上
03-26 3257
JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成ResourceManager、Dispatcher、JobMaster。需对JobManager 内存详细了解，以及内存在整体上以及细粒度上的配置方法 二、JobManager 内存模型简介 三、运用
【Flink 核心篇】Flink 内存管理（四）：TaskManager 内存分配（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-25 3429
在 《Flink 内存管理（一）：设置 Flink 进程内存》中我们提到，必须使用下述三种方法之一配置 Flink 的内存（本地执行除外），否则 Flink 启动将失败。这意味着必须明确配置以下选项子集之一，这些子集没有默认值。
flink任务内存调优，TaskManager、JobManager内存配置
weixin_47019045的博客
06-28 7320
Flink是基于java的JVM运行，拥有高效的数据处理能力，但是考虑到用户在 Flink 上运行的应用的多样性，尽管flink框架已经为所有配置项提供合理的默认值，仍无法满足所有情况下的需求。 flink进程总内存、taskmanager内存、jobmanager内存配置...
深入解析Flink执行流程：从JobManager到TaskManager
"这篇文章深入解析了Apache Flink的核心执行流程，通过源码分析，揭示了Flink如何从程序执行到任务调度的全过程。" 在Flink的执行环境中，首先需要了解的是执行环境（ExecutionEnvironment），它是所有Flink程序的...
追源索骥：透过源码看懂Flink核心框架的执行流程.pdf
08-12
- JobManager执行job：负责作业调度、任务分配、状态管理和容错等。 - TaskManager执行task：实际运行任务的组件，负责数据处理和状态保存。 - StreamTask与StreamOperator：任务和操作符在数据流处理中的作用。 7....
（十五）Flink 内存管理机制
springk的专栏
08-24 397
在大数据领域，很多开源框架（Hadoop、Spark、Storm）都是基于 JVM 运行，但是 JVM 的内存管理机制存在着诸多类似 OutOfMemoryError 的问题，主要是因为创建大量的实例，超过 JVM 的最大堆内存限制，没有被有效的回收。这在很大程度上影响了系统的稳定性，因此很多框架都实现了自己的内存管理。本章我们通过对 Flink 内存模型、JobManager 以及 TaskManager 内存配置的介绍，全方位了解 Flink 在内存方面是如何自主管理的
【内存模型】Flink内存模型：从宏观（Flink内存模型）、微观（Flink内存结构）、数据传输等角度分析Flink的内存管理
hiliang521的博客
07-19 3038
我们首先先从Flink的不同角色看一下Flink的内存管理，然后在微观的看一下Flink的内存管理器和数据模型，最后再观察下数据传输时的内存管理。
Flink 中JobManager和TaskManager
qq_41982570的博客
04-29 6232
Flink 中JobManager和TaskManager
Flink集群主节点JobManager启动分析(standalone模式)
weixin_44852067的博客
03-29 757
Flink集群的资源管理器，负责slot的管理和申请工作。Dispatcher负责接收客户端提交的 JobGraph，随后启动一个Jobmanager，类似 Yarn中的ApplicationMaster角色，类似Spark中的Driver角色。JobManager负责一个具体job的执行，在Flink集群中，可能会有多个JobManager 同时执行，job的主控层序。
动态内存分配实例
wangkaiblog的专栏
05-17 650
例子1、#include #include int main() { int *pi, *pi2; pi = ( int * )malloc( 10 * sizeof( int ) ); if( pi == NULL ) printf( " out of memory!\n" ); else printf( "malloc success!\n" )
Flink JobManager内存管理机制介绍与调优总结
cloudbigdata的博客
11-15 2683
作者：董伟柯，腾讯云大数据高级工程师概要我们知道，旧版本 Flink 的 JobManager 作为管理者，只承担着初始化和协调的任务，内存压力非常小，很少出现 OOM 等问题。但是，随着 Flink CDC [1] 实时数据捕获技术的广泛应用，以及采用 Flink 新版 Source 接口（FLIP-27: Refactor Source Interface [2]）的 Connector 日渐...
Flink JobManager 内存占用大 问题
u010374412的博客
12-01 2785
当在 本地启动一个 flink 简单的 job 时候，发现出现了 heap outMemeory 问题，然后就不假思索的 调整了 jvm 的 heap -Xms1000m -Xmx16000m 参数，就可以正常的启动了。通过 jvisualvm 连接上 这个 jvm process，参看 堆大小 竟然达到了 4、5G。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值