flink1.10及以上版本taskmanager内存重大改变

1、从1.10 fink对内存模型进行了很大变更,变得更加简洁和清晰了,本文梳理出相关变更。flink1.9模板版本如下

Apache Flink 1.9 Documentation: Task Manager Memory Configuration

2、flink1.10

Apache Flink 1.10 Documentation: Set up Task Executor Memory

3、flink1.12

Apache Flink 1.12 Documentation: Set up Flink's Process Memory

5、总结

 我们把TaskManager的process size由4GB设置为6GB时,Task Heap、Managed Memory、Network的内存都提升了。

taskmanager的内存的配置选项是在  TaskManagerOptions 类中

8、一般情况下,如果是容器化的资源调度,推荐设置 taskmanager.memory.process.size: 4096m,这样不会因为超出容器的内存大小而被kill掉。

taskmanager.memory.flink.size 是指 taskExecutor的内存,不包含 JVM Metaspace和JVM overhead这两块内存。

参考文献;

flink启动命令参数_Flink调优之前,必须先看懂的TaskManager内存模型_李士季的博客-CSDN博客

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值