亚马逊云科技Amazon SageMaker HyperPod助力大模型训练

关键字: [SageMaker HyperPod, Foundation Model Training, Distributed Training Performance, Resilient Training Environment, Model Design Iteration, Hardware Failure Recovery]

本文字数: 400, 阅读完需: 2 分钟

导读

在这场演讲中,演讲者介绍了 SageMaker HyperPod,这是亚马逊云科技推出的一项新服务,旨在训练大规模基础模型。HyperPod 提供了一个可靠的训练环境,能够自动从硬件故障中恢复,并从最后一个检查点继续训练,从而减少高达20%的训练时间。它还配备了针对亚马逊云科技网络基础设施优化的分布式训练库,进一步缩短了训练时间。此外,HyperPod 允许研究人员自定义训练环境,安装框架、调试工具和软件库,从而实现快速迭代模型设计。该演讲重点介绍了 Stability AI、Perplexity AI 和 Hugging Face 等客户的成功案例,他们从 HyperPod 的可靠性、性能和灵活性中获益。

演讲精华

以下是小编为您整理的本次演讲的精华，共100字，阅读时间大约是0分钟。

在当今的人工智能领域,大规模基础模型训练已成为一个前所未有的计算挑战。随着Transformer模型架构的兴起,训练这些庞大的语言模型和生成模型对计算能力的需求也与日俱增。为了满足这一需求,亚马逊云科技(AWS)推出了一款名为SageMaker HyperPod的新产品,旨在为客户提供一个高度可靠、高性能且灵活的托管环境,专门用于训练大型基础模型。

SageMaker HyperPod的核心优势在于三个方面:首先,它提供了一个弹性的训练环境。HyperPod所提供的集群具有自我修复能力,如果发生硬件故障,它能自动从最近的检查点恢复训练,无需人工干预。根据测试,这一功能可以将训练时间缩短20%。其次,HyperPod集成了针对亚马逊云科技网络基础设施优化的SageMaker分布式训练库,可进一步缩短20%的训练时间。最后,HyperPod为用户提供了灵活的体验,允许他们SSH访问任何集群实例,安装所需的框架、调试工具和软件库,支持快速迭代模型设计。

在使用HyperPod时,用户首先需要创建VPC网络和存储资源,如Amazon FSx for Lustre等并行文件系统。接下来,他们需要定义生命周期脚本,用于自定义集群环境,例如创建用户、安装应用程序或进行系统设置等。然后通过一个配置文件指定头节点和计算节点的规格,以及生命周期脚本的位置。最后,只需使用一条命令即可创建集群。在集群创建后,HyperPod会自动执行生命周期脚本,为用户准备好定制化的训练环境。

用户可以通过多种方式与HyperPod交互,包括提交批处理作业、申请专用节点资源进行交互式开发,或使用与流行框架(如PyTorch Lightning、Nvidia Nemo等)集成的作业提交方式。无论采用何种方式,HyperPod都提供了高度的灵活性,允许用户自定义各个层面的设置,以满足特定的训练需求。

HyperPod的一大亮点是自动修复功能。它通过部署代理来检测硬件故障,一旦发现故障,就会自动替换故障节点并从最近的检查点恢复训练,极大缩短了中断时间。用户只需在作业提交时启用自动恢复功能即可,无需手动干预。这一功能解决了分布式训练中的一个长期痛点:由于训练过程是串行的,任何一个工作节点发生故障都会导致整个作业崩溃,从而浪费大量计算资源。有些客户曾因硬件故障而被迫停止训练数天,这无疑会严重影响他们的开发进度。

除了自动修复功能外,HyperPod还提供了多种性能优化措施。首先,它采用了经过优化的亚马逊云科技网络拓扑,包括Amazon EC2计算实例、Amazon EFA互连网络和Amazon FSx for Lustre并行文件系统等,以确保跨节点通信的高效性。其次,HyperPod集成了亚马逊云科技自主开发的SageMaker优化分布式训练库,如SMT和SMDpP,这些库经过高度优化,可以充分利用亚马逊云科技网络基础设施的性能。最后,HyperPod还提供了全面的监控功能,用户可以使用Amazon CloudWatch、Prometheus等工具监控GPU利用率、内存使用情况等指标,并结合Tensorboard、DCGM等工具进行深入的性能分析和调试。

目前,一些领先的开源AI公司已在私有预览版中使用HyperPod,获得了显著的性能提升和开发效率提高。其中,Stability AI是一家领先的开源生成AI公司,它曾经频繁遭遇硬件故障,导致研究人员浪费数百个小时的时间等待集群修复。通过使用HyperPod,Stability AI节省了50%的训练时间和成本。另一家公司Perplexity AI是提供对话式问答引擎的公司之一,它使用HyperPod后,实验吞吐量提高了两倍。

以Hugging Face为例,这家公司的使命是让每个人都能够训练自己的模型。它不仅提供了一个浏览和使用开源模型的平台,还积极参与模型训练,如StarCoder代码生成模型和IDFX视觉语言模型等。为了支持这些大规模模型的训练,Hugging Face需要一个拥有1800多个GPU的集群。在亚马逊云科技的支持下,它成为了HyperPod的早期使用者之一。

在HyperPod上,Hugging Face的60多名数据科学家可以并发使用同一个集群进行不同的工作负载,包括每日评估开放语言模型的性能、训练新模型等。由于HyperPod支持作业队列和优先级管理,它们能够实现100%的GPU利用率,没有任何资源闲置。同时,HyperPod的自动修复功能为它们节省了大量的时间和计算成本。更重要的是,Hugging Face的研究人员可以在HyperPod上自由定制环境,安装所需的工具和库,以支持快速迭代和创新。

以StarCoder模型为例,Hugging Face在HyperPod上使用了一个分区,占用了部分集群资源。它使用3D并行的Megatron LM架构,在24天内训练了1万亿个token。在训练过程中,它能够稳定地在每个GPU上达到400多TeraFlops的性能,并通过Prometheus和节点导出器监控GPU利用率和二氧化碳排放量。当需要保存检查点时,它先将模型权重保存到本地NVMe磁盘,然后再异步传输到Amazon S3。整个过程中,HyperPod的自动修复功能可以在发生故障时自动暂停和恢复训练,而无需人工干预。

总的来说,SageMaker HyperPod为大规模基础模型训练提供了一个高度可靠、高性能且灵活的托管环境,让AI研究人员能够专注于模型创新,而不必操心基础设施管理的复杂性。无论是自动修复、性能优化,还是定制化支持,HyperPod都为客户带来了前所未有的便利。随着越来越多的客户加入,我们有理由相信,HyperPod将为推动人工智能的发展做出重大贡献。

总结

该演示介绍了Amazon SageMaker HyperPod,这是一项新的亚马逊云科技服务,旨在解决训练大规模基础模型所面临的独特挑战。它强调了开发这些模型所涉及的计算需求和复杂性,例如数据处理、分布式训练、模型迭代和硬件故障。SageMaker HyperPod旨在提供一个可靠的训练环境、优化的分布式训练性能以及灵活的用户体验,以实现快速的模型设计迭代。

主要优势包括自我修复集群,可自动从硬件故障中恢复,减少高达20%的训练时间。它还提供针对亚马逊云科技网络基础设施优化的分布式训练库,进一步缩短训练时间。此外,HyperPod允许用户定制训练环境、安装框架、调试工具和软件库,实现无基础设施约束的无缝创新。

该演示展示了Stability AI、Perplexity AI和Hugging Face等客户的成功案例,他们利用了HyperPod的可靠性、性能和定制能力。它还提供了HyperPod架构、集群创建、通过生命周期脚本进行定制、性能优化和可观察性工具的技术概览。

总的来说,SageMaker HyperPod旨在通过提供一个托管的、可靠的、高性能的训练环境,让研究人员和组织能够专注于大规模基础模型的创新。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。