Flink 内存梳理与遇到的问题修复

Flink内存相关文章

---

---

Flink基础模型内存模型

提示：我们需要知道Jobmanager和Taskmanager对应的内存模型，来分配相应的内存，让内存利用率最大化(本文基于flink1.17说明)。

一、JobManager内存模型：

参数设置：

• jobmanager.memory.process.size：对应到图中的 Total Process Memory 。对应到 -yjm。

• jobmanager.memory.flink.size：对应到图中的Total Flink Memory，作业管理器的总Flink内存大小。这包括JobManager消耗的所有内存，除了JVM元空间和JVM开销，它由JVM堆内存和堆外内存组成。

• jobmanager.memory.heap.size ：对应到图中的JVM Head：JobManager的JVM堆内存大小。

• jobmanager.memory.off-heap.size：默认值：128mb，对应到图中的Off-Heap Memory。JobManager的堆外内存。

• jobmanager.memory.jvm-metaspace.size：默认值：256mb ，对应到图中的JVM Metaspace。- JobManager JVM 进程的 Metaspace。

• JVM Overhead，是用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等，JVM开销的大小是为了弥补总进程内存中配置的部分。

  • jobmanager.memory.jvm-overhead.fraction：默认值 0.1（Total Process Memory的0.1）。
  • jobmanager.memory.jvm-overhead.min：默认值192mb
  • jobmanager.memory.jvm-overhead.max：默认值1gb
  • 按照比例算，如果内存大小小于或大于配置的最小或最大大小，则将使用最小或最大大小。可以通过将最小和最大大小设置为相同的值，可以显式指定JVM开销的确切大小。

举例:
那么如果设置了 -yjm 1024 ，JobManager的JVM的堆内存大小是多少呢？

二、TaskManager的内存模型：

参数设置：

• taskmanager.memory.process.size：对应到图中的Total Process Memory，TaskExecutors的总进程内存大小。这包括TaskExecutor消耗的所有内存，包括总Flink内存、JVM元空间和JVM开销。对应到 -ytm。

• taskmanager.memory.flink.size：对应到图中的Total Flink Memory，TaskExecutors的总Flink内存大小。它由框架堆内存、任务堆内存、任务堆外内存、托管内存和网络内存组成。

• taskmanager.memory.framework.heap.size：默认值128mb，对应到图中的Framework Heap。用于 Flink 框架的 JVM 堆内存。

• taskmanager.memory.task.heap.size：对应到图中的Task Heap。用于 Flink 应用的算子及用户代码的 JVM 堆内存，

• 托管内存：对应到图中的Managed Memory，流处理作业中使用 RocksDB State Bac