95-280-048-源码-资源管理-CPU

最新推荐文章于 2024-06-07 22:24:10 发布

九师兄

最新推荐文章于 2024-06-07 22:24:10 发布

阅读量474

点赞数

分类专栏：大数据-flink

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/106073680

版权

大数据-flink 专栏收录该内容

854 篇文章 856 订阅 ¥99.90 ¥299.90

订阅专栏

Flink 不限制CPU资源使用，通过processing slots管理TaskManager的任务分配。每个TaskManager默认提供1个slot，JobManager根据operator并行度申请slots执行任务。Task以线程方式运行，按需使用CPU。在YARN等集群环境中，无需调整slots参数，集群会自动分配更多container。

摘要由CSDN通过智能技术生成

在这里插入图片描述

2.概述

Flink 并不会主动限制它消耗的CPU资源，它通过processing slots来控制一个worker 进程（也就是TaskManager）可以被分配的tasks数。一个TaskManger提供了特定数目的slots，它们注册于ResourceManager，并被其所管理。在执行程序时，一个JobManager会申请一个或多个slots，用于执行任务。一个slot可以运行一个application中任意operator的一个并行任务。所以JobManager需要至少申请operator最大并行度的slots数，才能保证任务正常执行。Task在TaskManager中以线程的方式执行，并且按需使用CPU资源。

TaskManager可提供的slots数量由taskmanager.numberOfTaskSlots 参数指定，默认为1。也就是每个TaskManager会提供一个slot。一般仅会在standalone模式下需要调整此参数，在YARN、Kubernetes、Mesos中不需要调整，因为它们可以根据资源申请更多container，而多个container也可以运行在单个节点上，效果与TaskManager中的slot基本一致。