琦彦

Kueue 和现有的 Kubernetes 组件完美融合，不用担心功能差异，让客户使用更简单。下一步的开发计划是：与常见定制工作负载的集成：Spark、Kubeflow 等；作业抢占机制；预算管理；多集群支持。项目地址：...

前言一直想把关于资源调度及资源管理的想法和经验做一些分享，但每次因为没有找到合适的故事线而一拖再拖。Volcano开源以后，发现很多问题在没有背景的情况下很难解释清楚。因此，希望以 Volcano 为线索把资源调度及资源管理方面的想法展开。形式上就以Q&A的方式展开，省去了每次繁琐的铺垫，也可以根据情况加入或删除相应的内容。有什么问题请关注此公众号并留言，也会针对大家比较关心的留言分享一些想法。另外，想法及分享仅代表个人观点，望勿“过度”解读。1. 为什么会有 Volcano 这样一个项目？

1-Volcano火山：容器与批量计算的碰撞Volcano是基于Kubernetes的一个批处理调度系统，它为大数据、机器学习以及HPC等多种工作负载提供了作业生命周期的管理、调度以及资源管理一系列的功能，能够帮助弹性的工作负载以及批处理的工作负载更好的运行在云原生的环境里，同时能够提高性能、降低成本。Volcano项目背景当前容器技术的使用已经非常广泛，相对于虚拟机来讲，它提供了更好的资源使用效率，可以实现秒级扩缩容，最重要的一点就是它解决了生产、开发、测试三个环境的统一，提供了一致性的运行环境。C

2-Volcano设计原理随着容器技术的发展，越来越多的批量计算应用正在迁移到Kubernetes平台上，从早期的AI应用到大数据应用，再到近期的基因，转码，科学计算等HPC应用。在迁移过程中，高性能应用对Kubernetes平台提出了新的要求，例如 调度，网络和存储等。Volcano针对高性能应用场景，对 Kubernetes 进行了大量的加强，成功在AI，大数据和基因等多个高性能应用领域落地；同时，也将这些经验以开源项目的形式公开，回馈社区。本文我们会分三部分来介绍：第一部分是作业管理的设计

3-大数据场景下Volcano高效调度能力实践本文的主题是大数据场景下Volcano高效调度的实践，我大概会从主要从三个方面来介绍今天内容。首先会介绍一下Spark on Kubernetes 发展历程以及工作原理，第二部分大概介绍一下Spark with Volcano**，Volcano如何能够帮助 Spark运行地更高效**。第三部分就是操作实战，看看怎么样能够快速地把Spark on Kubernetes环境给部署起来。希望在今天这个课结束之后，大家可以很容易的去上手实践。Spark on K

5-AI场景下Volcano作业管理能力实践今天的分享主要包括4个部分：TensorFlow介绍Volcano+TensorFlow作业MindSpore介绍实践演示01TensorFlow介绍TensorFlow是深度学习领域一个非常成熟的项目，它支持了很多开发语言，比如python、C++等，还支持了多种异构平台，提供了强大的算法模型，被越来越多的开发者所使用。可按照下列步骤进行使用：构建分层神经网络输入大量数据训练模型迭代训练，调整参数计算预测和正确结果的距

6-机器学习场景下Volcano集成调度能力实践今天主要给大家分享如何使用Volcano调度器运行一个TF Job。今天的分享主要包括3个部分的内容：Kubeflow简介Kubeflow on Volcano演示（运行一个简单的机器学习作业）01 Kubeflow简介• Kubeflow是Kubernetes的机器学习工具包，是运行在K8s之上的一套技术栈，包括很多个组件，这些组件可以单独使用，也可以互相配合使用。• 在Kubernetes机器中上对机器学习流程中的各个阶段提供技术支持