Flink TaskManager内存优化

州周

已于 2024-03-05 14:20:52 修改

阅读量479

点赞数 1

文章标签： flink 大数据

于 2023-09-27 14:58:44 首次发布

本文链接：https://blog.csdn.net/weixin_45249411/article/details/133351348

版权

可根据官网了解Flink 内存配置：配置 TaskManager 内存 | Apache Flink

组成部分	配置参数	描述
框架堆内存（Framework Heap Memory）	taskmanager.memory.framework.heap.size	用于 Flink 框架的 JVM 堆内存（进阶配置）。
任务堆内存（Task Heap Memory）	taskmanager.memory.task.heap.size	用于 Flink 应用的算子及用户代码的 JVM 堆内存。
托管内存（Managed memory）	taskmanager.memory.managed.size taskmanager.memory.managed.fraction	由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存。
框架堆外内存（Framework Off-heap Memory）	taskmanager.memory.framework.off-heap.size	用于 Flink 框架的堆外内存（直接内存或本地内存）（进阶配置）。
任务堆外内存（Task Off-heap Memory）	taskmanager.memory.task.off-heap.size	用于 Flink 应用的算子及用户代码的堆外内存（直接内存或本地内存）。
网络内存（Network Memory）	taskmanager.memory.network.min taskmanager.memory.network.max taskmanager.memory.network.fraction	用于任务之间数据传输的直接内存（例如网络传输缓冲）。该内存部分为基于 Flink 总内存的受限的等比内存部分。这块内存被用于分配网络缓冲
JVM Metaspace	taskmanager.memory.jvm-metaspace.size	Flink JVM 进程的 Metaspace。
JVM 开销	taskmanager.memory.jvm-overhead.min taskmanager.memory.jvm-overhead.max taskmanager.memory.jvm-overhead.fraction	用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。

在生产使用一段时间后发现托管内存(默认是Total memory* 0.4)和网络开销内存(0.1)使用较少。所以选择降低这两部分的内存。

修改托管内存两种方式：
1.通过 taskmanager.memory.managed.size 明确指定其大小。
2.通过 taskmanager.memory.managed.fraction 指定在Flink 总内存中的占比。


修改网络内存（Network Memory）方式：

taskmanager.memory.network.fraction 指定在Flink 总内存中的占比。


托管内存应用场景通常在RocksDB状态后端下分配给RocksDB来存储状态数据的，因此在使用HashMap状态后端的情况下，我们可以将托管内存设置为0来将更多的内存提供给HashMap状态后端使用


当同时指定二者时，会优先采用taskmanager.memory.managed.size，若二者均未指定，会根据taskmanager.memory.managed.fraction的默认值0.4计算得到托管内存的大小