亚马逊云科技Amazon EKS助力生成式AI模型的高效部署

关键字: [Ray, Generative Ai Models, Kubernetes Infrastructure, Fine-Tuning Ai Models, Serving Ai Models, Elastic Kubernetes Service]

本文字数: 400, 阅读完需: 2 分钟

导读

在这场演讲中,Sai Venom探讨了如何在Amazon EKS(Elastic Kubernetes Service)上部署和服务生成式AI模型,例如Stable Diffusion。他阐释了Kubernetes提供了可扩展性、高可用性,并利用了开源生态系统来部署AI/ML工作负载。Sai演示了SHARK堆栈(JupyterHub、ArgoCD、Ray和Kubernetes),用于在EKS上微调和服务AI模型。他展示了Ray如何根据负载自动扩展模型部署,以及Kubernetes工具如Carpenter如何简化节点管理。该演讲重点阐述了Amazon EKS如何实现生成式AI模型(如Stable Diffusion)的高效部署、灵活扩展和稳定服务。

演讲精华

在这段视频内容中,两位亚马逊网络服务(AWS)员工探讨了如何在亚马逊弹性Kubernetes服务(Amazon EKS)上部署生成式人工智能(AI)模型,以进行推理。视频由亚马逊云科技解决方案架构师Sai Venom和A.M. Grivelly主持。Sai Venom指出,在过去10年中,生成式AI模型的发展使得快速微调和服务这些模型成为可能。客户正在利用亚马逊云科技的Elastic Kubernetes Service (Amazon EKS)来构建基础模型,然后对其进行微调并提供推理API。

与DevOps世界中将代码投入生产的自动化过程类似,人们也需要为AI/ML模型建立从训练到生产的流程,而Kubernetes提供了一个统一的环境来实现这一点。Kubernetes的可扩展性和可用性是其主要优势之一,它可以根据需求动态扩展和缩减计算资源。Sai提到,Kubernetes的开源生态系统对于处理基础模型的特殊需求非常有用,例如在特定硬件架构上编译和运行的要求。

Sai介绍了一个名为SHARK的技术栈,它被越来越多的客户用于AI/ML工作负载。SHARK代表JupyterHub (J)、ArgoCD (A)、Ray (R)和Kubernetes (K)。JupyterHub用于开发笔记本,ArgoCD提供CI/CD功能,Ray是一个开源框架,用于构建、训练和推理AI/ML模型,而Kubernetes则是底层的容器编排平台。Ray使得在Kubernetes上部署模型变得非常简单,只需选择一个模型ID,它就会自动处理扩展和提供推理API。

在演示部分,Sai展示了如何在亚马逊云科技控制台中设置EKS集群。他使用开源工具Carpenter自动选择合适的EC2实例类型来部署模型,而不需要手动指定确切的实例类型。在这个示例中,Sai部署了一个大型的Inferentia实例和一个中型实例,用于运行稳定扩散模型。Carpenter根据Ray的请求动态调配所需的节点,并提供每月/每小时的估计成本,以实现成本效率。客户可以使用Carpenter来管理节点,只需指定所需的实例类型和架构,而不必记住具体的实例规格。

Sai还使用了EKS Node Viewer和Canines等工具来可视化集群中正在运行的资源,包括Carpenter、Grafana、NGINX控制器和Ray。在稳定扩散命名空间中,他展示了正在运行的头节点和工作节点。Ray的仪表板清晰地显示了正在运行的模型及其状态。

最后,Sai使用Gradio构建了一个用户界面,允许观众输入提示,并基于Hugging Face上的稳定扩散模型生成相应的图像。他使用了模型ID “runwayml/stable-diffusion-v1-5”来部署该模型。当多个请求同时到来时,Ray会自动扩展模型的副本数量以满足需求。虽然最终生成的图像与期望的不太相符,但这个演示充分展示了Kubernetes在处理AI/ML工作负载方面的灵活性和可扩展性。

Sai还介绍了亚马逊云科技的”Data on EKS”资源,它提供了在EKS上部署各种AI/ML用例的指南,包括在GPU或Inferentia实例上进行推理。他建议观众访问该资源以及观看”Containers from the Couch”节目,以了解更多关于在Kubernetes上运行AI/ML工作负载的信息。

总结

在这场生动有趣的演讲中,亚马逊云科技的首席解决方案架构师 Sai Venom 深入探讨了 Kubernetes 与生成式人工智能模型的交汇点。他介绍了 SHARK 技术栈,这是一种创新方法,将 JupyterHub、ArgoCD、Ray 和 Kubernetes 结合在一起,用于在 Amazon EKS 上无缝部署和管理 AI/ML 工作负载。

Sai 强调在 Kubernetes 上运行生成式人工智能模型的可扩展性和高可用性优势,利用 EC2 实例的强大性能和诸如 Carpenter 之类的工具进行高效的节点管理。通过现场演示,他展示了在 EKS 上部署稳定扩散模型的过程,演示了 Ray 如何根据需求自动扩展资源,并提供直观的 API 进行推理。

演讲的亮点是一场引人入胜的互动环节,Sai 根据观众提示生成了富有想象力的图像,展示了部署模型的能力。他还强调了 EKS NodeViewer 和 Canines 等开源工具在可视化和导航 Kubernetes 集群方面的重要性。

最后,Sai 鼓励观众探索”Data on EKS”资源和他的”Containers from the Couch”YouTube 频道,开启在 Amazon EKS 上使用 AI/ML 工作负载的旅程,释放 Kubernetes 在生成式人工智能应用程序中的强大潜力。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。