1、从1.10 fink对内存模型进行了很大变更,变得更加简洁和清晰了,本文梳理出相关变更。flink1.9模板版本如下
Apache Flink 1.9 Documentation: Task Manager Memory Configuration
2、flink1.10
Apache Flink 1.10 Documentation: Set up Task Executor Memory
3、flink1.12
Apache Flink 1.12 Documentation: Set up Flink's Process Memory
5、总结
我们把TaskManager的process size由4GB设置为6GB时,Task Heap、Managed Memory、Network的内存都提升了。
taskmanager的内存的配置选项是在 TaskManagerOptions 类中
8、一般情况下,如果是容器化的资源调度,推荐设置 taskmanager.memory.process.size: 4096m,这样不会因为超出容器的内存大小而被kill掉。
taskmanager.memory.flink.size 是指 taskExecutor的内存,不包含 JVM Metaspace和JVM overhead这两块内存。
参考文献;