如何提高 Flink K8s 集群资源利用率？

zhisheng_blog

已于 2022-05-09 11:36:00 修改

阅读量2.7k

点赞数

分类专栏：大数据实时计算引擎 Flink 实战与性能优化文章标签： java 大数据 redis hadoop python

于 2022-03-30 09:10:00 首次发布

本文链接：https://blog.csdn.net/tzs_1041218129/article/details/123861113

版权

大数据实时计算引擎 Flink 实战与性能优化专栏收录该内容

73 篇文章 28 订阅 ¥99.00 ¥99.00

订阅专栏

问题

在 Flink on K8s 默认提交作业的命令下，我们会指定作业的 JM/TM 的 CPU 和 Memory，最后作业生成的 pod 它的 CPU/Memory 的 request/limit 都是一样的资源，但是作业真实运行时使用的资源远达不到 limit 的值，这样就会造成机器资源浪费（水位不高，但是机器又不能再申请 pod）。

比如下面命令：（指定了 TM 的资源，未指定 JM 资源）

./bin/flink run-application -p 1 -t kubernetes-application  -c com.zhisheng.Test \
  -Dkubernetes.cluster-id=flink-log-alert-test1 \
  -Dtaskmanager.memory.process.size=6g \
  -Djobmanager.memory.process.size=2g \
  -Dkubernetes.jobmanager.cpu=0.5 \
  -Dkubernetes.taskmanager.cpu=1 \
  -Dtaskmanager.numberOfTaskSlots=1 \
  ....

JM:

TM:

了解本专栏

zhisheng_blog

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
如何提高 Flink K8s 集群资源利用率？

问题在 Flink on K8s 默认提交作业的命令下，我们会指定作业的 JM/TM 的 CPU 和 Memory，最后作业生成的 pod 它的 CPU/Memory 的 request/limit 都是一样的资源，但是作业真实运行时使用的资源远达不到 limit 的值，这样就会造成机器资源浪费（水位不高，但是机器又不能再申请 pod）。比如下面命令：（指定了 TM 的资...
复制链接

扫一扫