基于亚马逊云科技Amazon EKS的大语言模型推理

关键字: [亚马逊云科技中国峰会2024, EKS, 基于亚马逊云科技Eks, 大语言模型Llm推理, 开源模型部署需求, Gpu集群扩缩复杂性, 可观测性监控指标, 负载均衡器服务网格]

本文字数: 900, 阅读完需: 4 分钟

导读

在亚马逊云科技中国峰会2024上,演讲者高郁介绍了”基于亚马逊云科技EKS的大语言模型LLM推理”。该演讲阐述了如何利用亚马逊EKS托管的Kubernetes服务部署开源大语言模型,解决了部署复杂性、可扩展性和可观测性等痛点。演讲重点介绍了基于EKS的解决方案架构,包括负载均衡、自动扩缩、服务网格、Neuron GPU实例等,支持多种开源模型如ViM、HuggingFace、TGI和WebUI。该解决方案还提供了用户友好的控制面板,集成了Prometheus、Grafana和Loki等监控工具,实现了全面的可观测性。

演讲精华

以下是小编为您整理的本次演讲的精华，共600字，阅读时间大约是3分钟。

在这场精彩的演讲中,亚马逊解决方案架构师高郁向我们介绍了基于亚马逊EKS的大语言模型(LLM)推理平台。EKS是亚马逊的Kubernetes托管平台,可以简化大规模部署和管理容器化应用程序的复杂性。他提到,虽然目前有很多的闭源模型,但实际上很多客户还是有开源模型的部署要求,原因可能是觉得效果不太好,或者需要做一些灵活的定制,甚至在某些情况下,开源模型的成本优势是可以体现的。另外,出于开放语言隐私的考虑,客户不希望将数据传输到闭源模型中。

部署开源模型会面临一些痛点。首先,部署起来还是蛮复杂的,它里面可能有很多的GPU集群,可能是单卡、多卡,可能是一台机器或两台机器,所以扩展性是需要考虑的。当集群非常大的情况下,如何能保证快速的扩缩容,这是一个需要解决的问题。其次,可观测性也是一个挑战,客户希望知道平台的工作状态是正常还是不正常,并发量是多少,响应时长是多少,以便进行调整和优化。

为了解决这些问题,亚马逊提出了一个基于EKS的解决方案架构。该架构包括负载均衡器、Campaign扩缩容、HPA(Horizontal Pod Autoscaler)触发扩缩容等组件。用户请求从左侧进入,经过应用网关(Application Load Balancer)、ServiceMesh(服务网格),可以使用亚马逊自研的Neuron GPU实例或英伟达GPU进行部署,充分利用GPU的并行计算能力。该平台支持多种大语言模型,如ViM、HuggingFace、TGI和Text Generation Web UI(类似于Stable Diffusion Web UI)等。

在控制面板方面,提供了Kubernetes的用户界面,客户可以方便地查看消耗情况、Pod名称、服务和命名空间等信息。还包括Prometheus、Grafana和Loki等监控工具,用于监控整个平台的指标和日志,确保可观测性。高郁特别提到,对于不太熟悉Kubernetes的客户,这个用户界面可以提供便利的操作。

最后,高郁展示了该方案的部署示例,可以看到已部署的引擎包括TGW引擎、TGI引擎、VLM引擎等,每个引擎有多少实例,流量是多少,一目了然。ServiceMesh可用于控制整个流转和权重,实现精细化的流量管理和控制。

总的来说,这个基于EKS的大语言模型推理平台旨在简化开源模型的部署,提供扩缩容、可观测性等功能,满足客户的多样化需求,推动人工智能技术在各行各业的应用和创新。通过亚马逊云科技的强大基础设施和先进技术,客户可以高效、安全地部署和运行大语言模型,加速人工智能创新。

下面是一些演讲现场的精彩瞬间：

演讲者简要介绍了亚马逊云科技在中国的业务背景、挑战和解决方案,为峰会奠定了基调。

亚马逊云科技中国峰会2024:探讨客户对开源模型的需求和隐私保护的重要性

演讲者在介绍亚马逊云科技在 EKS 上构建的解决方案架构,包括负载均衡器、Campaign 扩缩容以及基于 HPA 和 CA 的自动扩缩功能。

演讲者在解释亚马逊云科技的用户数据流程,包括应用网关、服务网格,以及可使用亚马逊自研的Neuron GPU芯片或英伟达GPU进行部署。

亚马逊云科技中国峰会2024演讲中,演讲者展示了亚马逊云服务的控制面板,涵盖了Kubernetes集群管理、监控指标和日志等功能。

亚马逊云科技中国峰会2024:演示者展示了亚马逊云服务的部署方案,包括多个引擎如TGW、TGI和VLM,并通过可视化界面展示了每个引擎的实例数量和流量情况,利用ServiceMesh控制整体流转和权重分配。

总结

亚马逊云科技为满足客户部署开源大语言模型的需求,推出了基于 EKS (Elastic Kubernetes Service) 的 LLM 推理平台解决方案。该平台旨在解决开源模型部署的复杂性、可扩展性和可观测性等痛点。

该解决方案架构建立在 EKS 之上,包括负载均衡器、自动扩缩功能和服务网格等组件。它支持多种开源模型,如 ViM、HuggingFace、TGI 和 Text Generation Web UI。用户可通过应用网关和服务网格访问模型推理服务,并利用亚马逊自研的 Neuron GPU 实例或英伟达 GPU 进行推理加速。

在控制面板方面,该平台提供了 Kubernetes 操作界面、监控和日志分析功能,使用户能够轻松管理和监控整个系统。最后,演示了该解决方案的部署示例,展示了不同引擎的实时状态、流量分布和权重控制。

亚马逊云科技通过这一创新解决方案,为客户提供了高效、可扩展且易于管理的开源大语言模型部署环境,助力企业释放人工智能的潜力。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。