基于亚马逊云科技Amazon EKS的大语言模型(LLM)推理

关键字: [亚马逊云科技中国峰会2024, EKS, 大语言模型推理平台, Eks集群扩缩管理, 模型部署可观测性, 开源模型部署需求, 服务网格流量控制]

本文字数: 1100, 阅读完需: 6 分钟

导读

在”亚马逊云科技中国峰会2024”上,演讲者高郁介绍了”基于亚马逊云科技EKS的大语言模型(LLM)推理”。该演讲阐述了如何利用亚马逊EKS托管的Kubernetes服务来部署开源大语言模型,解决了部署复杂性、可扩展性和可观测性等痛点。演讲重点介绍了基于EKS构建的LLM推理平台架构,包括负载均衡、自动扩缩、ServiceMesh、Neuron实例等,支持多种开源LLM模型如ViT、HuggingFace、TGI和WebUI。该解决方案通过Kubernetes控制面板和监控系统(Prometheus、Grafana、Loki)实现了可视化管理和全面观测,使得开源LLM模型的部署更加高效、灵活和可控。

演讲精华

以下是小编为您整理的本次演讲的精华，共800字，阅读时间大约是4分钟。

在这场精彩的演讲中,亚马逊解决方案架构师高郁向我们介绍了基于亚马逊EKS的大语言模型(LLM)推理平台。EKS是亚马逊提供的Kubernetes托管服务,可以简化容器编排和管理的复杂性。他提到这场演讲只有5分钟时间,所以会快速地讲解。

高郁首先阐述了业务背景和痛点。他指出,虽然目前存在很多闭源模型,但许多客户仍然需要部署开源模型。一些客户认为闭源模型的效果不佳,需要进行灵活定制;另一些客户则发现在某些情况下,开源模型具有成本优势;还有一些客户出于数据隐私考虑,不希望将数据传输到闭源模型中。无论是在中国区还是海外区,都存在这种部署开源模型的需求。

然而,部署开源模型面临着一些挑战。首先,部署过程相当复杂,可能涉及多个GPU集群,单卡、多卡、单机或多机等不同配置,扩展性是需要考虑的问题。当集群规模非常大时,如何快速实现扩缩容也是一个需要解决的难题。其次,可观测性也是一个痛点。作为一个常规应用程序,客户希望了解平台的运行状况是否正常、并发量、响应时长等指标,以便进行扩缩容调整。

为了解决这些痛点,亚马逊提出了一个基于EKS的解决方案架构。在这个架构中,亚马逊利用了负载均衡器、Horizontal Pod Autoscaler(HPA)和Cluster Autoscaler(CA)等组件,实现了自动扩缩容功能。HPA可以根据CPU利用率或其他指标自动水平扩展或缩减Pod的数量,而CA则可以根据总体集群负载自动添加或删除节点。

从用户数据面来看,所有请求首先经过应用程序网关,然后通过服务网格(ServiceMesh)到达底层的模型实例。这些实例可以运行在亚马逊自研的Neuron GPU实例上,也可以使用英伟达GPU。Neuron实例是亚马逊云服务中专门为机器学习工作负载优化的GPU实例类型,提供高性能和经济实惠的计算能力。该平台支持多种开源模型,包括ViM、HuggingFace、TGI和Text Generation Web UI等,可以满足不同客户的需求。

在控制面方面,亚马逊提供了Kubernetes仪表板和自研的消费监控工具,方便客户查看Pod、Service和Namespace等资源的使用情况。此外,该平台还集成了Prometheus、Grafana和Loki等监控和日志工具,实现全面的可观测性,让客户可以全面了解平台的运行状况、并发量、响应时长等指标,为扩缩容决策提供依据。Prometheus用于收集和存储指标数据,Grafana则提供了可视化仪表板,而Loki则是一个日志聚合系统,用于收集和查询日志数据。

最后,高郁演示了该解决方案的部署情况。从演示中可以看到,该平台部署了多个引擎,包括TGW引擎、TGI引擎和VLM引擎等,每个引擎都有多个实例运行,并展示了它们的流量分布情况。亚马逊利用ServiceMesh来控制整个流量的转发和权重分配,实现了灵活的流量管理。通过可视化的方式,客户可以清晰地看到已部署的引擎类型、每个引擎的实例数量以及它们的流量情况,从而对流量进行精细化控制。

总的来说,这个基于EKS的LLM推理平台旨在简化开源语言模型的部署,提供自动扩缩容、可观测性和流量控制等功能,满足客户在不同场景下的需求。通过这个平台,客户可以轻松部署和管理开源语言模型,并根据实际需求进行灵活调整,从而提高效率和降低成本。无论是在中国区还是海外区,都可以使用这个解决方案来满足部署开源语言模型的需求。

下面是一些演讲现场的精彩瞬间：

演讲者简要介绍了亚马逊云科技在中国的业务背景、挑战和解决方案,为峰会奠定了基调。

亚马逊云科技中国峰会2024:探讨客户对开源模型的需求和隐私保护的重要性

演讲者在介绍亚马逊云科技在 EKS 上构建的解决方案架构,包括负载均衡器、Campaign 扩缩容以及基于 HPA 和 CA 的自动扩缩功能。

演讲者在解释亚马逊云科技的用户数据流程,包括应用网关、服务网格,以及可使用亚马逊自研的Neuron GPU芯片或英伟达GPU进行部署。

亚马逊云科技中国峰会2024演讲中,演讲者展示了亚马逊云服务的控制面板,涵盖了Kubernetes集群管理、监控指标和日志等功能。

亚马逊云科技中国峰会2024:演示者展示了亚马逊云服务的部署方案,包括多个引擎如TGW、TGI和VLM,并通过可视化界面展示了每个引擎的实例数量和流量情况,利用ServiceMesh控制整体流转和权重分配。

总结

亚马逊云科技为满足客户部署开源大语言模型(LLM)的需求,推出了基于 EKS (Elastic Kubernetes Service) 的 LLM 推理平台。该平台旨在解决开源模型部署的复杂性、可扩展性和可观测性等痛点。

该解决方案架构建立在 EKS 之上,包括负载均衡器、自动扩缩功能和 Kubernetes 集群管理。它支持多种开源 LLM 模型,如 ViM、HuggingFace、TGI 和 Text Generation Web UI。用户可通过应用网关和服务网格访问该平台,并利用亚马逊自研的 Neuron GPU 实例或英伟达 GPU 进行推理。控制面板提供了 Kubernetes 操作界面、资源监控和日志分析等功能,确保平台的高效运行和可观测性。

亚马逊云科技的 LLM 推理平台为客户提供了一站式的开源模型部署和管理解决方案,满足了灵活性、成本优化和数据隐私等多方面需求。该平台展现了亚马逊云科技在人工智能基础设施领域的创新实力,为企业提供了高效、可靠的 LLM 推理服务。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。