智算AI平台介绍：初识volcano

原创 已于 2024-03-30 18:32:09 修改 · 1.1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2024-03-29 19:06:05 首次发布
Volcano是CNCF下的Kubernetes容器批量计算平台，支持丰富调度策略和增强型Job管理，尤其适合高性能工作负载。其由Scheduler、ControllerManager和Admission组成，提供自定义插件和算法支持。

提到智算AI平台，肯定离不了Volcano，Volcano与Kubernetes天然兼容，并为高性能计算而生。

一.volcano是什么

Volcano是CNCF 下首个也是唯一的基于Kubernetes的容器批量计算平台，主要用于高性能计算场景。

它提供了Kubernetes目前缺少的一套机制，这些机制通常是机器学习大数据应用、科学计算、特效渲染等多种高性能工作负载所需的。

作为一个通用批处理平台，Volcano与几乎所有的主流计算框 架无缝对接，如Spark 、TensorFlow 、PyTorch 、 Flink 、Argo 、MindSpore 、 PaddlePaddle 等。

--比如我这里

最低0.47元/天 解锁文章
华为云原生Kubernetes之运行Volcano高性能作业的深度使用和实践
╰つ栺尖篴夢ゞ
05-18 4641
一、Volcano 简介 ① 什么是 Volcano ？ Volcano 是 CNCF 下首个也是唯一的基于 Kubernetes 的容器批量计算平台，主要用于高性能计算场景，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而 Kubernetes 当前缺失的一系列特性。 Volcano 提供高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入 AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。 Volcano 针对计算型应用提供了作业调度、作业管理
volcano学习之旅（1）--基础介绍
zishen的专栏
04-14 7458
volcano学习之旅（1）–基础介绍 学习资源 官网： https://volcano.sh/zh/ git: https://github.com/volcano-sh/volcano/tree/v1.0.1 gitee码云: https://gitee.com/ascend/ascend-for-volcano 社区（Mind X DL）： https://bbs.huaweicloud.com/forum/forumdisplay-fid-1231-orderby-lastpost-filter-t
智算AI平台介绍：Volcano的Queue
qq_30758629的博客
03-30 1032
今天主要介绍的的Queue！ Queue属于资源级别的对象，可声明资源配额，多个namespace共享。一般一个算法部门对应一个volcano queue Queue是容纳一组podgroup的队列，podgroup里面都是pod。 Queue用于管理和优先级排序任务。 这有助于更好地控制资源分配和调度优先级，确保高优先级的任务可以优先获取资源。
【博客504】k8s Volcano资源调度算法与Gang Scheduling问题分析
qq_43684922的博客
09-25 3142
k8s原生调度器在训练场景中的不足：比如，某个大数据应用需要跑 1 个 Driver 容器+10 个 Executor 容器（对应 AI 训练的话，就是 1 个 PS 容器+10 个 Worker 容器）。如果容器是一个一个的调度，假设在启动最后一个 executor 容器（对应 AI 是 Worker 容器）时，由于资源不足而调度失败无法启动。那么前面的 9 个 executor 容器虽然运行着，其实也是浪费的。
直播 | Volcano介绍及其在深度学习场景下的应用
Docker的专栏
12-06 746
分享时间：12月10日 20:30分享主题：Volcano介绍及其在深度学习场景下的应用分享人介绍：张经辉，Volcano贡献者，云原生技术开发工程师。分享摘要：随着Kubernetes...
云计算三层架构_Volcano架构解读：基于Kubernetes的云原生批量计算平台
weixin_39725756的博客
11-27 553
注 :以下内容来自华为云原生团队原创内容，文章首发于容器魔方微信公众号，未经允许，不得转载Volcano是一个基于Kubernetes的云原生批量计算平台，也是CNCF的首个批量计算项目。Volcano 主要用于AI、大数据、基因、渲染等诸多高性能计算场景，对主流通用计算框架均有很好的支持。它提供高性能计算任务调度，异构设备管理，任务运行时管理等能力。本篇文章将从Volcano架构、Volcano...
智创 AI 新视界 -- 改进 AI 循环神经网络（RNN）的实践探索（16 - 12）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 CSDN 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
12-12 2310
本文围绕 RNN 的改进展开深度实践探索，从基础原理回顾与局限性剖析入手，通过实际案例和实验数据展现问题所在；接着详细阐述门控机制（LSTM 和 GRU）的优化应用及在股票预测、诗歌生成等任务的出色表现，以及注意力机制与 RNN 及其变体的融合创新，如在机器翻译、图像描述生成任务中的显著提升效果，给出丰富详细且优化后的代码示例，最后提出互动问题并自然引出下一篇关于 AI 伦理困境的文章。
Java 大视界 -- Java 大数据文本分析与自然语言处理：从文本挖掘到智能对话（十）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 CSDN 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
01-05 4007
本文聚焦 Java 大数据文本分析与 NLP，详述文本采集、挖掘，机器翻译、智能对话，结合金融、旅游案例剖析语义、安全挑战及应对，为文本技术应用添翼。
Java 大数据与区块链的融合：数据可信共享与溯源（45）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 CSDN 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
01-14 4766
文章深入探讨了Java大数据与区块链的融合，阐述了融合的背景意义、技术实现方式、应用案例，分析了面临的挑战并展望未来，旨在实现数据可信共享与溯源。
大数据新视界 -- 大数据大厂之 Hive 数据压缩：优化存储与传输的关键（上）（19/ 30）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 CSDN 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
11-30 3797
本文承前启后，聚焦 Hive 数据压缩，深挖压缩算法（原理、Hive 支持算法及选策），详呈表与分区压缩实战、细究查询性能平衡，佐以多行业案例，具实操价值，设互动引下篇，助优化存储传输。
Kubernetes&&批处理平台&&Volcano
dfq737211338的博客
05-28 603
官网Volcano是一个基于Kubernetes的容器批量计算平台，主要用于高性能计算场景。提供了包括基于各种主流架构的CPU、GPU在内的异构设备混合调度能力、高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。支持的调度策略ReclaimsBackfillVolcano 提供了基于多种架构的计算资源的混合调度能力x86ARM鲲鹏昇腾GPU。
基于开源Volcano调度的插件机制
10-09
NPU亲和性调度算法设计说明与开发指导.zh Ascend-volcano-plugin介绍 亲和性策略说明 调度算法设计说明 调度算法实现说明 目录结构 编译说明 版本更新记录 Ascend-volcano-plugin介绍 基于开源Volcano调度的插件机制，增加昇腾处理器的亲和性调度，虚拟设备调度等特性，最大化发挥昇腾处理器计算性能。 亲和性策略说明 昇腾910 AI处理器亲和性规则 昇腾910 AI处理器是华为研发的一款高性能AI处理器。其内部的处理器之间采用HCCS方式连接。每台物理设备具备8颗处理器，两个HCCS。每个HCCS存在4颗处理器，同一HCCS内处理器可做数据交换，不同HCCS内处理器不能通信，即同一Pod分配的昇腾910 AI处理器（若小于等于4）必须在同一个HCCS环内，否则任务运行失败。昇腾910 AI处理器的互联拓扑图如图1所示。
5-AI场景下Volcano作业管理能力实践
琦彦
04-07 982
5-AI场景下Volcano作业管理能力实践 今天的分享主要包括4个部分： TensorFlow介绍 Volcano+TensorFlow作业 MindSpore介绍 实践演示 01TensorFlow介绍 TensorFlow是深度学习领域一个非常成熟的项目，它支持了很多开发语言，比如python、C++等，还支持了多种异构平台，提供了强大的算法模型，被越来越多的开发者所使用。可按照下列步骤进行使用： 构建分层神经网络 输入大量数据训练模型 迭代训练，调整参数 计算预测和正确结果的距
Volcano 实战快速入门 (一)
最新发布
欢迎来到云逸的博客频道
04-24 2387
本文介绍了当前 Kubernetes 在大语言模型应用场景中的资源调度和管理面临的现状和挑战。简单介绍了 Volcano 的核心概念和组件功能。并提供了一些基础的任务示例
1-Volcano火山：容器与批量计算的碰撞
琦彦
04-07 2287
1-Volcano火山：容器与批量计算的碰撞 Volcano是基于Kubernetes的一个批处理调度系统，它为大数据、机器学习以及HPC等多种工作负载提供了作业生命周期的管理、调度以及资源管理一系列的功能，能够帮助弹性的工作负载以及批处理的工作负载更好的运行在云原生的环境里，同时能够提高性能、降低成本。 Volcano项目背景 当前容器技术的使用已经非常广泛，相对于虚拟机来讲，它提供了更好的资源使用效率，可以实现秒级扩缩容，最重要的一点就是它解决了生产、开发、测试三个环境的统一，提供了一致性的运行环境。C
Kubernetes增强型调度器Volcano（适配大数据调度）
CodeAsWind
02-13 7608
Volcano调度器背景 Volcano是基于Kubernetes的批处理系统，为华为开源。Volcano方便AI、大数据、基因、渲染等诸多行业通用计算框架接入，提供高性能任务调度引擎，高性能异构芯片管理，高性能任务运行管理等能力。 Volcano调度的意义 K8s自带的资源调度器，有一个明显的特点：依次调度每个容器。但是在AI训练或者大数据，这种必须多个容器同时配合...
cube studio开源一站式云原生机器学习平台--volcano 多机分布式计算
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
07-27 2512
volcano主要为我们提供index job， 也就是启动多个pod，并为每个pod提供index，role，以及其他role的访问地址。保留单机的代码，添加识别集群信息的代码（多少个worker，当前worker是第几个），添加分工（只处理归属于当前worker的任务），使用volcano这个模板，填上自己的worker数量，每个worker的镜像和启动命令就可以了。3、每个worker里面都判别一遍总共需要处理的数据，和当前worker需要处理的数据。1、单机器算力有限，核数不足。
炼丹师的优雅内功四：volcano 批量处理容器计算业务
m0_57167241的博客
10-24 1357
Volcano是CNCF下首个也是唯一的基于Kubernetes的容器批量计算平台，主要用于高性能计算场景。它提供了Kubernetes目前缺 少的一套机制，这些机制通常是机器学习大数据应用、科学计算、特效渲染等多种高性能工作负载所需的。作为一个通用批处理平台，Volcano与几乎所有的主流计算框 架无缝对接，如SparkTensorFlowPyTorchFlinkArgoMindSpore等。它还提供了包括基于各种主流架构的CPU、GPU在内的异构设备混合调度能力。
6-机器学习场景下Volcano集成调度能力实践
琦彦
04-07 1668
6-机器学习场景下Volcano集成调度能力实践 今天主要给大家分享如何使用Volcano调度器运行一个TF Job。 今天的分享主要包括3个部分的内容： Kubeflow简介 Kubeflow on Volcano 演示（运行一个简单的机器学习作业） 01 Kubeflow简介 • Kubeflow是Kubernetes的机器学习工具包，是运行在K8s之上的一套技术栈，包括很多个组件，这些组件可以单独使用，也可以互相配合使用。 • 在Kubernetes机器中上对机器学习流程中的各个阶段提供技术支持
Leva::Volcano - React组件的GUI解决方案
资源摘要信息:"leva::volcano:React-first组件GUI" Leva是一个专门为React应用程序设计的组件GUI库，它允许开发者快速创建和配置GUI来管理应用状态。该工具默认情况下提供了可自定义、可扩展且美观的界面，而且正在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值