通过创建ACK集群Pro版,使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群,白屏配置任务数据共享存储和下载,并通过命令行工具Arena快速提交模型训练任务、部署推理服务。使用云原生AI套件可以让模型训练和推理提效,提高GPU资源利用率。
方案介绍
一键训练大模型及部署GPU共享推理服务
通过创建ACK集群Pro版,您可以为集群挂载NAS实例作为集群的共享存储卷,用于存放模型训练数据。在集群中部署云原生AI套件后,您可以基于其能力提交Bloom模型训练任务进行模型训练,并通过GPU显存共享调度的能力,将多个推理服务部署在同一块GPU卡上以提高GPU的利用率。
解决问题:GPU管理复杂
GPU集群管理和资源分配复杂,需要考虑环境一致性、版本依赖性、配置多样性,监控诊断、故障排查的难度大,还存在资源利用率低下等问题。
解决问题:AI工程效率低
AI作业生命周期整个流程,从开发环境搭建、数据准备到模型开发、模型训练、优化等,到模型推理上线和运维,周期长、效率低、协同难度大。
方案优势
提高资源利用率
通过GPU共享调度,多个推理服务可以部署在同一张GPU卡上共享显存,提升GPU利用率。还可以结合阿里云cGPU技术实现显存和错误隔离。
简化运维
基于容器服务ACK对GPU等异构资源进行统一管理、运维和分配,提供多维度监控、健康检查、自动异常发现、自愈和告警等自动化运维能力。
提升AI工程效率
通过命令行工具Arena,屏蔽底层资源、Kubernetes、运行环境等复杂度,以统一的方式管理系统、任务,模型开发、训练、推理等全生命周期。
应用场景
持续优化异构资源效率
对云上各种异构计算资源(如CPU、GPU、NPU、VPU、FPGA)、存储(OSS、NAS、CPFS、HDFS)、网络(TCP、RDMA)资源,云原生AI套件支持对其进行抽象,统一管理、运维和分配,通过弹性和软硬协同优化,持续提升资源利用率。
高效运行AI等异构工作负载
云原生AI套件兼容Tensorflow、Pytorch、Horovod、Spark、Flink等主流开源或者用户自有的各种计算引擎和运行时,统一运行各类异构工作负载,统一管理作业生命周期,统一调度任务工作流,保证任务规模和性能。云原生AI套件一方面不断优化运行任务的性能、效率和成本,另一方面持续改善开发运维体验和工程效率。