Kubernetes队列组件Kueue和Volcano的对比

杨泽宇的MLOps学习笔记

已于 2024-04-01 19:43:52 修改

阅读量2.2k

点赞数 29

文章标签： kubernetes 容器云原生

于 2024-04-01 19:40:52 首次发布

本文链接：https://blog.csdn.net/2401_83124266/article/details/137238703

版权

本文分析了Kueue和Volcano在AI任务队列调度中的设计特点，Kueue支持多租户和命名空间隔离，而Volcano则提供全局资源限制和更多调度策略。两者在资源借用和功能上有所区别，Kueue社区更活跃。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么要有队列组件

AI任务队列调度是云原生MLOps中必备的功能。由于原生Kubernetes无法支持机器学习、并行计算等特殊场景的任务调度，因此出现了Kueue和Volcano这些调度组件。举例来说，tensorflow分布式训练中需要一个参数服务器和多个worker功能配合执行，就需要同时保证这n个pod正常执行或者等待，kubernetes原生的调度器是无法做到这些的，需要有队列组件配合tensorflow对应的operator共同来完成该作业。

队列设计

Kueue队列设计

Kueue队列中分为Cluster Queue和Local Queue，Cluster Queue通过Resource Flavor来进行资源范围的选定，可以为同一个Kubernetes集群设置多个Cluster Queue，将集群进行多维度异构划分，下图的用户组队列可以类比为Cluter Queue；每个Cluster Queue中可以定义多个Local Queue，Local Queue中定义命名空间将用户进行划分，下图的用户队列可以类比为命名空间，相当于每个用户属于一个Local Queue（用户队列），每个Local Queue又受他所属的Cluster Queue资源的限制。

Volcano队列设计

Volcano只能对整个Kubernetes集群中的所有资源进行队列限制，无法根据节点标签对资源进行硬隔离，如下图所示，Volcano中的Queue只能对资源大小进行限制，任务会被调度到任一节点上。每个用户属于一个Queue。

队列资源申请

两种队列组件都支持通过资源类别和大小进行队列的定义。

Kueue资源申请

apiVersion: kueue.x-k8s.io/v1beta1

kind: ClusterQueue

metadata:

  name: cluster-queue

spec:

  namespaceSelector: {} # Available to all namespaces

  queueingStrategy: BestEffortFIFO # Default queueing strategy

  resourceGroups:

  - coveredResources: ["cpu", "memory", "nvidia.com/gpu"]

    flavors:

    - name: "default-flavor"

      resources:

      - name: "cpu"

        nominalQuota: 10

      - name: "memory"

        nominalQuota: 10Gi

      - name: "nvidia.com/gpu"

        nominalQuota: 2

Volcano资源申请

apiVersion: scheduling.volcano.sh/v1beta1

kind: Queue

metadata:

  name: test

spec:

  weight: 1

  reclaimable: false

  capability:

    cpu: 2

    nvidia.com/gpu: 2