如何提高 Flink K8s 集群资源利用率？

zhisheng_blog

已于 2022-05-09 11:36:00 修改

阅读量2.8k

点赞数

分类专栏：大数据实时计算引擎 Flink 实战与性能优化文章标签： java 大数据 redis hadoop python

于 2022-03-30 09:10:00 首次发布

本文链接：https://blog.csdn.net/tzs_1041218129/article/details/123861113

版权

大数据实时计算引擎 Flink 实战与性能优化专栏收录该内容

73 篇文章 29 订阅 ¥99.00 ¥99.00

订阅专栏

本文探讨了Flink在Kubernetes集群中运行时存在的资源浪费问题，并提出了三种解决方案：设置JM/TM的request和limit参数、设置limit因子和request因子。通过调整request因子，可以更合理地分配资源，提升集群的资源利用率。代码开发部分介绍了如何在Flink配置中实现这些优化策略。

摘要由CSDN通过智能技术生成

问题

在 Flink on K8s 默认提交作业的命令下，我们会指定作业的 JM/TM 的 CPU 和 Memory，最后作业生成的 pod 它的 CPU/Memory 的 request/limit 都是一样的资源，但是作业真实运行时使用的资源远达不到 limit 的值，这样就会造成机器资源浪费（水位不高，但是机器又不能再申请 pod）。

比如下面命令：（指定了 TM 的资源，未指定 JM 资源）

./bin/flink run-application -p 1 -t kubernetes-application  -c com.zhisheng.Test \
  -Dkubernetes.cluster-id=flink-log-alert-test1 \
  -Dtaskmanager.memory.process.size=6g \
  -Djobmanager.memory.process.size=2g \
  -Dkubernetes.jobmanager.cpu=0.5 \
  -Dkubernetes.taskmanager.cpu=1 \
  -Dtaskmanager.numberOfTaskSlots=1 \
  ....

JM:

了解本专栏