flink任务内存调优，TaskManager、JobManager内存配置

最新推荐文章于 2024-10-10 10:41:57 发布

大数据动物园

最新推荐文章于 2024-10-10 10:41:57 发布

阅读量7.3k

点赞数 3

文章标签：大数据 flink

本文链接：https://blog.csdn.net/weixin_47019045/article/details/125498018

版权

本文介绍了Flink任务的内存配置，包括总内存、TaskManager和JobManager的内存模型。TaskManager内存模型复杂，涉及直接内存和本地内存，而JobManager作为控制单元，其内存配置对集群稳定性至关重要。文章提供了相关配置参数的说明，帮助用户优化Flink集群的内存使用。

摘要由CSDN通过智能技术生成

Flink是基于java的JVM运行，拥有高效的数据处理能力，但是考虑到用户在 Flink 上运行的应用的多样性，尽管flink框架已经为所有配置项提供合理的默认值，仍无法满足所有情况下的需求。为了给用户生产提供最大化的价值， Flink 允许用户在整体上以及细粒度上对集群的内存分配进行调整。（本文介绍的内存配置方法适用于 1.11 及以上版本）

一、flink任务的总内存

Flink JVM 进程的进程总内存（Total Process Memory）包含了: Flink 任务和框架本身使用的内存（Total Flink Memory）和运行 Flink 的 JVM 本身使用的内存。

Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。

配置 Flink 进程内存最简单的方法是指定以下两个配置项中的任意一个：

配置项	TaskManager 配置参数	JobManager 配置参数
Total Flink Memory	taskmanager.memory.flink.size	jobmanager.memory.flink.size
Total Process Memory	taskmanager.memory.process.size	jobmanager.memory.process.size