Volcano 开源项目教程

Volcano 开源项目教程

volcanoA gateway-agnostic billing system with a fully-featured API and front-end control panel.项目地址:https://gitcode.com/gh_mirrors/vo/volcano

项目介绍

Volcano 是一个基于 Kubernetes 的高性能任务调度系统，专为机器学习、深度学习、HPC（高性能计算）等场景设计。它提供了丰富的调度策略和扩展性，能够有效地管理和优化集群资源的使用。

项目快速启动

环境准备

• 确保你已经安装了 Kubernetes 集群。
• 安装 kubectl 命令行工具。
• 确保你有集群的管理员权限。

安装 Volcano

1. 克隆 Volcano 仓库：

   git clone https://github.com/volcano-sh/volcano.git
   cd volcano
   

2. 部署 Volcano：

   kubectl apply -f installer/volcano-development.yaml
   

3. 验证安装：

   kubectl get pods --namespace volcano-system
   

提交一个任务

1. 创建一个简单的 Job 配置文件 example-job.yaml：

   apiVersion: batch.volcano.sh/v1alpha1
   kind: Job
   metadata:
     name: example-job
   spec:
     minAvailable: 1
     schedulerName: volcano
     policies:
       - event: PodEvicted
         action: RestartJob
     tasks:
       - replicas: 1
         name: "default-task"
         template:
           spec:
             containers:
               - command:
                   - /bin/sh
                   - -c
                   - sleep 10
                 image: busybox
                 name: busybox
             restartPolicy: Never
   

2. 提交 Job：

   kubectl apply -f example-job.yaml
   

应用案例和最佳实践

机器学习任务调度

Volcano 在机器学习任务调度方面表现出色，支持多种调度策略，如 Gang Scheduling（保证任务同时启动）、Binpack（资源装箱）等。以下是一个简单的机器学习任务示例：

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  name: tf-job
spec:
  minAvailable: 3
  schedulerName: volcano
  tasks:
    - replicas: 1
      name: "ps"
      template:
        spec:
          containers:
            - image: tensorflow/tensorflow:1.13.1-py3
              name: ps
              command: ["python", "/tensorflow/examples/tutorials/mnist/mnist_with_summaries.py"]
          restartPolicy: Never
    - replicas: 2
      name: "worker"
      template:
        spec:
          containers:
            - image: tensorflow/tensorflow:1.13.1-py3
              name: worker
              command: ["python", "/tensorflow/examples/tutorials/mnist/mnist_with_summaries.py"]
          restartPolicy: Never

HPC 任务调度

Volcano 也适用于 HPC 场景，支持复杂的任务依赖和资源分配。以下是一个 HPC 任务示例：

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  name: hpc-job
spec:
  minAvailable: 4
  schedulerName: volcano
  tasks:
    - replicas: 1
      name: "master"
      template:
        spec:
          containers:
            - image: hpc-image
              name: master
              command: ["/bin/sh", "-c", "mpirun -np 4 ./hpc_program"]
          restartPolicy: Never
    - replicas: 3
      name: "worker"
      template:
        spec:
          containers:
            - image: hpc-image
              name: worker
              command: ["/bin/sh", "-c", "mpirun -np 4 ./hpc_program"]
          restartPolicy: Never

典型生态项目

Kubeflow

Kubeflow 是一个基于 Kubernetes 的机器学习工具包，与 Volcano 结合使用可以提供更强大的任务调度和管理能力。通过集成 Volcano，Kubeflow 可以更好地支持大规模机器学习任务的调度。

Spark on

volcanoA gateway-agnostic billing system with a fully-featured API and front-end control panel.项目地址:https://gitcode.com/gh_mirrors/vo/volcano