浅谈AI任务调度

于 2021-10-11 18:51:44 发布
阅读量1.1k 收藏 3
点赞数
文章标签： 人工智能 big data python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49711991/article/details/120708998
版权
本文介绍了AI任务调度的重要性，探讨了SLURM和Kubernetes两种资源调度系统在AI工作负载中的应用和挑战，并提出Kubernetes OrionX作为解决GPU调度问题的方案。
摘要由CSDN通过智能技术生成

目录

引言

什么是任务调度，它对机器学习有多重要？

SLURM 资源调度系统

Kubernetes 资源调度系统

AI工作负载的挑战

Kubernetes OrionX 调度

引言

近几年来，伴随着AI应用领域需求的扩增和政策红利的推动，AI开发平台的市场规模得到了快速增长。AI开发平台是集成了AI算法、算力与开发工具的平台，通过接口调用的形式使企业、个人或开发者可高效使用平台中的AI能力完成AI产品开发或AI赋能。作为一个机器学习平台，它提供训练所需要的计算资源，支持使用各种单机以及分布式训练任务训练模型。这时，由于平台大多部署在私有集群，而集群内项目的资源是有限的，所以在项目初期，项目训练任务不多的时候，每个任务都能获取足够的资源进行训练；但随着项目里的训练任务越来越多，任务调度的需求也日益凸显。

什么是任务调度，它对机器学习有多重要？

任务调度是指系统为了自动完成特定任务，在约定的特定时刻去执行任务的过程。在 AI任务训练中，可能同时运行数百个任务和上千个节点。如果没有任务调度，用户尝试执行的任务将无法与可用资源进行正确匹配。可以说，任务调度系统类似于军队的司令，指挥着AI平台上的各个组件的运行，时刻监督着任务的运行情况。

AI开发平台使用任务调度程序来对训练任务进行接收、调度和监控。这些调度程序使算法工程师能够通过任务控制指令手动或自动启动和管理任务。手动管理和监控通过图形用户界面 (GUI) 或命令行界面 (CLI) 执行。

任务调度系统的目的是：

  • 最小化任务在队列中等待的时间长度

  • 最大化任务并行量以确保同时运行尽可能多的任务

  • 优化资源利用率以降本增效

当任务调度系统有效运行时，它可以确保任务尽快完成工作负载的调度，从而减少待处理任务的操作瓶颈。在机器学习当中，这意味着更短的模型训练时间和更快的业务上线时间。 如今，AI技术的快速发展也为任务调度提供了越来越多的选择。

SLURM 资源调度系统

SLURM

最低0.47元/天 解锁文章
virtaitech
关注
博客
图像超补全（Outpainting）技术的前沿模型与数据集资源汇总
09-25 858
lmage outpainting”这一概念是由斯坦福大学 CS230 课程的 Mark Sabini 等人提出，相较于图像修复技术，lmage outpainting 更进一步，能够从给定的图像片段中“补全”出缺失的外延部分，以精妙的方式补全画面，从而构建出一个完整且连贯的视觉世界。另外，所提出的论文在吴恩达的斯坦福大学 CS230 课程中获得了期末 Poster 的第一名。论文地址：https://arxiv.org/pdf/1808.08483。
博客
异构AI算力资源池：智能世界的新型基础设施
09-23 1064
OrionX支持将不同品牌如英伟达、寒武纪、华为海思、海光等构建成一个异构资源池，上层业务人员无须关心底层具体调用哪个品牌、哪个型号的算力资源，底层算力对上层业务人员完全透明，业务人员只需关注需要多少张算力卡，以及需要多少算力、显存资源，进行按需申请即可。通过软件定义的方式，可以构建一个灵活的算力资源池，满足不同应用对于计算能力、存储能力和网络能力的需求，同时实现资源的按需分配。通过软件定义异构AI算力资源池，可以实现对算力资源的精细化管理和优化调度，从而提高算力的利用率和效率。
博客
图像修复（Inpainting）技术的前沿模型与数据集资源汇总
09-18 1113
图像修复（Image Inpainting）是一种计算机视觉技术，旨在填补图像中的缺失区域或去除图像中的不需要部分，使其看起来自然且无明显痕迹。其目标是根据图像的上下文信息和周围像素来推断和重建缺失区域的内容，以生成逼真且一致的图像。Inpainting 技术的应用广泛，包括但不限于：图像修复：用于修复老旧或损坏的照片，例如修补划痕、污渍或褪色区域。视觉内容编辑：在照片/视频编辑中，填充被裁剪或移除的部分，或替换特定区域的内容。；移除不需要的对象或元素，实现无缝过渡。
博客
见刊丨“GPU池化”术语发布
09-14 332
在实践中，很多企业AI系统都是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化。资源池的核心是通过软件的方法，将各种硬件（CPU、内存、磁盘、网络等）变成可以动态管理的“资源池”，从而提升资源的利用率，简化系统管理，实现资源整合，让IT对业务的变化更具适应力。GPU池化也是遵循这样的理念，对物理GPU进行抽象，软件化后形成一个统一的资源池，方便用户按需对GPU资源进行有效调用，无需关注实际物理GPU的大小，数量，型号以及安插的物理位置。
博客
GPU池化如何帮助用户灵活“避坑”
09-14 860
随着5G、人工智能、云计算、大数据、IoT等技术的推动，万物互联的时代即将到来。因为大量AI应用都依赖GPU的超强计算能力，可以预见算力需求将越来越大，GPU在数据中心的地位也会越来越高。然而理想是丰满的，现实却是骨感的，GPU的计算能力虽然很强，但GPU总是因各种原因“罢工”:不是因为GPU故障，就是因为GPU资源不够，导致上层AI应用无法安全、稳定地运行，使AI应用管理员很狼狈，每天总是疲于奔命。究其。
博客
GPU池化为实现Robotaxi按下快进键
09-12 434
该报告从智慧共享出行的远大蓝图讲起，认为随着汽车产业“电气化”、“智能化”、“网联化”、“共享化”进程的不断发展，集“四化”于一身的Robotaxi代表了未来地面共享出行的理想形态。为了突破技术桎梏、推动商业落地，行业参与者从各自角度出发，或通过技术和产品的打磨，或通过生态和模式的创新，或通过政策和标准的制定，推动着自动驾驶行业健康、有序发展，稳步前进。在这个背景下，Robotaxi行业参与者众多，也需要各路“玩家”建立统一的商业视界，在数据高效流通的世界内通力协作，建立智慧共享出行的新模式。
博客
干货分享丨智造底座——AI算力池化的必要与实践
09-12 324
GEMINI AI训练平台以云原生容器服务为基础架构，调用云资源，配合人工智能、大数据以及分布式计算框架，服务于企业的AI算法开发、模型训练以及AI应用部署需求。诸如自动驾驶、电信、银行、互联网等领域的头部客户都已开始采用趋动科技的解决方案，实现算力的灵活调配，从而降低IT成本，提高生产运营效率。然而在现实应用中，作为高级图形处理和算力支持的GPU利用率却并不高，传统的物理绑定GPU方式正在束缚算力资源，让其无法发挥应用的价值，更别提在高级别渲染、虚拟现实和深度学习等项目中灵活的进行资源协作。
博客
OrionX vGPU研发测试场景下最佳实践之SSH模式
09-12 568
目前很多企业在做AI开发的场景时，对GPU资源的管理都是非常简单粗暴的。他们大多都是以开发小组为管理单位、由运维以台为单位分配给开发工程师使用。而在AI开发中涉及开发的场景和测试的场景，很多是将开发测试甚至训练任务都放在一起来使用资源，这时用户就会在资源使用方面遇到一些问题：从管理角度看，用户会遇到资源无法统一管理和调度、也无法做到很好的监控和资源统计的问题；从算法人员的角度看，他们面临的问题就是资源紧张须相互协调、无法灵活动态地使用和申请资源的问题。
博客
OrionX vGPU 研发测试场景下最佳实践之Jupyter模式
09-11 1300
通过pytorch的api我们可以直接拿到GPU的信息，跟物理卡是一致的，物理卡是T4，vGPU同样是T4，此时vGPU是分配了一块卡，所以显示的数量也是一样的，根据pytorch拿到的信息我们可以发现对于上层的框架而言调用vGPU资源跟调用物理GPU资源是一样的，不会有什么改变，那对于上层的应用来说也是透明的使用vGPU资源。我们使用了pytorch 1.8.1 cuda 10.2的镜像，然后将ubuntu的软件源改成阿里云的，同时删除nvidia的源，否则会因为网络问题无法安装其他软件。
博客
OrionX vGPU 研发测试场景下最佳实践之CodeServer模式
09-11 993
在之前的文章中，我们讲述了OrionX vGPU基于SSH模式、以及Jupyter模式下的最佳实践（文末附回顾链接~），今天，让我们走进CodeServer模式的最佳实践。• CodeServer模式：微软的VSCode的服务器版本，近年很多企业在采用该工具，使用资源的方式类似Jupyter，也是部署在虚机或者容器当中。
博客
OrionX GPU算力池助力AI OCR场景应用
09-11 1222
OrionX通过软件定义AI算力，颠覆了原有的AI应用直接调用物理GPU的架构，增加软件层，将AI应用与物理GPU解耦合，通过构建GPU资源池，对资源池中的GPU资源进行统一管理、维护和调配，资源池的大小可以根据系统管理需求而定，比如，可以将数据中心内所有的物理GPU纳入资源池中，也可以将一个GPU服务器作为一个资源池。通过软件定义算力的方式，将传统GPU资源以整卡为单位进行分配，变为以算力1%，显存1MB为基本单位进行资源提供，实现GPU按需分配，整体利用率提升明显。
博客
AI算力池化技术在银行业的最佳实践荣获“科学普及达人奖”
09-09 342
趋动科技作为完全自主可控的软件定义AI算力技术领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证，并认证了ISO9001和ISO27001资质。该解决方案在光大平稳运行2年多以来，我们很高兴地看到，全栈云平台已经高质量地达成了建设目标，作为光大银行数字化转型的稳固底座，成为了覆盖更广泛需求、资源云化、上下游一体调度支配的云计算技术中台。> 场景灵活转换：统一资源池，同时支持推理和训练场景，瞬间转换，资源随时就绪。
博客
AI算力池化技术助力运营商打造智算生态
09-09 778
当前智能算力芯片成本已占到数据中心服务器总体成本80%，然而智能算力芯片作为新型硬件形态，其虚拟化能力存在局限性，算力资源只能以独占方式进行分配，导致底层资源无法被充分利用——据统计，智算中心异构算力硬件总体利用率普遍低于30%，导致算力建设总体成本居高不下。数字经济时代，算力已成为国民经济发展的重要基础设施。趋动科技OrionX猎户座AI算力资源池化解决方案为运营商客户带来创新的异构算力资源管理和分配方案，引入软件定义算力的概念，将OrionX软件部署在多台不同类型的异构算力服务器上，通过网络互联，
博客
GPU设备化到服务化：高质量AI算力基础设施的关键
09-09 1079
OrionX专注于GPU服务化，通过创新的技术和灵活的服务模式，为用户提供了一种高效、可扩展且成本效益高的解决方案，它以其独特的GPU服务化理念，为用户提供了一个打造高质量算力基础设施的新选择，也为整个行业树立了一个高标准。：OrionX的算力池化技术实现了应用与算力的解耦合，使得应用部署更加灵活，不再受限于宿主机的算力类型，极大地提升了资源的利用效率和应用的可移植性。：OrionX将算力的使用模式从传统的设备独占式转变为服务化的动态使用，有效减少了算力的闲置时间，提高了资源的利用率。
博客
GPU池化技术保障智慧电网高效建设
09-06 864
绿色、智能、互联已成为电力行业主旋律。趋动科技结合国网现有人工智能平台，实现了人工智能算力资源服务快速“一站式”集成，将人工智能计算任务和算力需求进行沉淀、集中和自动化，提升AI算力全局管理能力及管理精细度，助力客户充分发挥出电力企业级规模优势，全面提升其智能化程度、速度，保障智慧电网建设！为提升算力配给效率、节约社会资源，某省国网公司与趋动科技共同联手建设落地了《大规模异构算力池化调度》项目，有效保障了国网人工智能业务的算力调度供给，缓解算力资源压力，同时为未来国产化异构算力建设提供了前沿研究。
博客
AI算力池化平台加速智能驾驶技术发展
09-06 1069
1886年，世界上第一辆汽车诞生。在随后的一百多年时间里，汽车成为广泛用于社会经济生活多种领域的重要交通运输工具，极大地推动了人类社会经济的发展。进入新世纪，汽车的电动化、智能化日趋明显。在汽车智能化方面，最核心的当属智能驾驶了，从ADAS到智能驾驶，越来越多的AI技术在汽车上得到应用。相比有人驾驶的汽车，智能驾驶汽车需要通过三大关键系统感知层、决策层和执行层，来模拟驾驶人员的眼睛、大脑和四肢。
博客
GPU池化赋能智能制造
09-06 396
论坛期间，趋动科技技术总监张增金先生就“智造底座-AI算力池化的必要与实践”这一重要议题，阐述了趋动科技GPU资源池化解决方案，趋动科技不仅能够通过池化GPU灵活分配资源，从而支持更多人工智能负载，还能为制造场景下运行的应用提供高性能算力，为企业实现算力资源最大化提供有效支撑。算力驱动，赋能未来。现如今，趋动科技正与各位生态伙伴共同努力，持续加速智能制造、工业互联网等数字化应用场景在制造企业的全面落地，大力提升制造业实现数字化转型和智能化变革的速度与效率，让算力驱动企业运作，并实现效益与价值。
博客
智算池化助力城市算力网建设
09-06 699
智算中心是基于最新人工智能理论，采用领先的人工智能计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的公共算力新型基础设施，通过算力的生产、聚合、调度和释放，高效支撑数据开放共享、智能生态建设、产业创新聚集，有力促进AI产业化、产业AI化及政府治理智能化。构建软件定义的异构AI算力资源池，使AI应用无需修改就能透明地共享和使用各智算中心内任何服务器之上的AI算力资源，不但能够提高智算资源利用率，而且可以极大便利AI应用的部署。软件定义AI算力的池化技术，实现了AI芯片的任意虚拟化、远程调用和池化。
博客
B站up主全程教学趋动云部署大模型：Meta新开源【Llama3.1-70B-Instruct】！
09-03 373
Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，在比8种支持语言更广泛的语言集合上进行了训练，预训练模型可以适应多种自然语言生成任务。Llama 3.1 模型集合还支持利用其模型的输出来改进其他模型，包括合成数据生成和数据蒸馏。论文解读：https://blog.csdn.net/v_JULY_v/article/details/140659420。
博客
计算机视觉干货分享！YOLOv1-v10系列全记录
09-03 986
YOLO（You Only Look Once）系列模型是一类非常高效的目标检测模型。其主要特点是能够在单次前向传播中同时进行目标的定位和分类，实现实时的目标检测。YOLO 系列模型从最初的 YOLOv1 到目前的 YOLOv10，经过了多次迭代和改进，逐渐提高了检测的精度和速度。YOLO简史。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值