面向百万用户的生成式AI：Amazon的Rufus及评审亮点

面向百万用户的生成式AI：Amazon的Rufus及评审亮点

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Rufus， Generative Ai， Customer Experience， Product Reviews， Conversational Assistant， Large Language Models]

导读

本次会议探讨了亚马逊的两个生成式AI解决方案：实时购物助手Rufus和离线客户评论摘要。负责这些解决方案的亚马逊团队分享了大规模使用生成式AI的策略，以及如何应对独特挑战并满足客户需求。演讲深入探讨了亚马逊的方法，即结合使用Amazon SageMaker的混合机器学习工作流程，以及利用80，000个Amazon Inferentia和亚马逊云科技 Trainium芯片组进行大规模实时推理。了解亚马逊如何不断发展其生成式AI解决方案，为客户创造经济高效、高质量且以客户为中心的体验。

演讲精华

以下是小编为您整理的本次演讲的精华。

在不断发展的电子商务领域，速度和规模至关重要，亚马逊面临着满足庞大客户群需求的巨大挑战。亚马逊平台上列出了4亿种产品，为2亿多名Prime会员提供服务，每年交付70亿件商品。公司寻求创新解决方案来提升购物体验，同时保持效率。交易量惊人，每天有1200万新订单，每年有12亿条新的客户评论。

其中一项创新是Product Listing Expert，一种用于帮助卖家创建全面准确的产品列表的生成式人工智能工具。卖家只需提供URL或产品信息，该工具就能生成符合最佳实践的草稿列表，确保完整性和正确性。这简化了流程，让卖家能够快速迭代和部署列表。该工具广受欢迎，有超过10万名卖家使用，预计到年底将影响数百万人。

亚马逊实施了基于人工智能的推荐系统，帮助客户做出明智的购买决策。例如，当客户购买某品牌的鞋子时，人工智能会根据其他人的购买经验建议订购一个小码，利用数据驱动的见解来提升整体购物体验。

人工智能购物向导进一步体现了亚马逊对客户满意度的重视。这些向导就像决策树一样，引导客户通过一系列步骤做出决定，根据他们的偏好过滤产品推荐。生成式人工智能在这一解决方案中发挥了关键作用，为客户提供了量身定制和无缝的购物体验。

对于卖家，亚马逊推出了Amelia，一款旨在解答卖家疑问和关切的对话式助手。无论是询问即将到来的促销活动、列表最佳实践、业务绩效还是支持单状态，Amelia都会利用生成式人工智能提供准确及时的回复。数千名卖家从这一创新助手中受益，它汲取了亚马逊庞大的卖家数据库，提供相关信息。

在广告领域，亚马逊的Creative Ads Generation让卖家能够使用生成式人工智能提示创建吸引人的产品图像和视频。通过指定所需的背景或场景，卖家可以生成视觉吸引力强的内容，提升产品展示效果，优化客户体验。此外，亚马逊最近宣布可以根据提示生成短视频剪辑，进一步扩展了卖家的创意可能性。

本次会议的重点是两款杰出产品:Review Highlights和Amazon Rufus。Review Highlights是一款总结工具，能够提炼客户评论的精髓，突出性能或易用性等关键方面。该工具采用情感分析技术，用绿色标记正面评论，橙色标记负面评论。这一创新功能为客户提供了全面而简洁的概览，有助于做出明智的购买决策，无需浏览大量评论。值得注意的是，亚马逊平台上有些产品积累了超过100万条用户生成内容，凸显了这一解决方案的必要性。

另一方面，Amazon Rufus是一款对话式购物助手，扮演虚拟专家的角色，指导客户完成购物旅程。客户可以就产品提出具体问题、发起搜索或寻求澄清产品功能，Rufus会实时提供量身定制的回复。一个客户使用案例展示了向Rufus询问传统产品描述中难以获取的具体产品问题的能力，利用了助手的对话性质。

Review Highlights的开发体现了亚马逊以客户为中心的理念。团队从客户需求出发，旨在帮助购物者做出无憾的购买决策。通过结合传统的自然语言处理(NLP)模型和大型语言模型(LLM)，团队创建了一个准确、负责、透明、安全和经济高效的解决方案。

为确保准确性，团队实施了强大的人工审查流程，监控和完善亚马逊22个市场和28种语言的输出。这种精心设计的方法，加上预先计算的摘要缓存，使客户能够以最小的延迟访问评论亮点，提升了整体购物体验。

团队利用亚马逊云科技服务，如SageMaker的批量转换功能，并针对Amazon Inferentia和Trainium芯片优化了模型，实现了比竞争对手高出40%的价格性能比。这种经济高效的方法使亚马逊能够在庞大的产品目录中扩展该解决方案，同时保持高性能。

作为对话式购物助手，Amazon Rufus面临着以低延迟为数百万客户服务的挑战。为克服亚马逊云科技区域的容量限制，团队针对推理硬件优化了LLM，将模型量化为8位精度，而不影响质量。这种优化使团队能够利用较小的实例保持性能，从而减少整体硬件占用空间和相关成本。

此外，团队采用亚马逊云科技 Neuron SDK进行分析和优化，实现了显著的吞吐量提升。通过持续微调系统，他们每月实现20-30%的吞吐量增长，使Rufus能够应对Prime Day等重大购物活动期间的需求激增，届时数百万客户将涌入平台。

Rufus在Prime Day的成功上线，完全运行在Amazon Inferentia芯片上，证明了团队的奉献精神和创新方法。他们满足了第一个标记在一秒内渲染的客户延迟要求，确保了在这一高流量期间数百万客户享有无缝的购物体验。

在开发过程中，Review Highlights和Amazon Rufus团队强调与客户保持密切联系的重要性。他们认识到，强大的基础模型只是起点;真正的挑战在于不断创新，满足不断发展的客户期望。为此，团队重新架构了系统以支持流式传输，实现实时交互并提升客户体验。他们还投资了多种加速器，确保可扩展性，并能够为工作负载利用最合适的硬件。

本次会议的关键要点很明确:专注于客户体验、规划生产可扩展性、利用亚马逊云科技人工智能服务和硬件，并持续优化性能和经济效益。通过坚持这些原则，亚马逊展现了其在生成式人工智能时代交付创新和以客户为中心解决方案的决心，树立了电子商务卓越的标准。

下面是一些演讲现场的精彩瞬间：

Barack Gozukla是亚马逊云科技的首席机器学习专家解决方案架构师，他欢迎观众来到re:Invent 2024大会，并介绍了面向百万用户的生成式人工智能、亚马逊的Rufus以及产品评论亮点等主题。

亚马逊的产品列表专家利用生成式人工智能帮助卖家创建优化的产品列表，简化了流程，提升了购物体验。

Andy Jassy介绍了Amelia，这是一款面向亚马逊卖家的对话式人工智能助手，可以回答有关他们业务、销售和支持工单的问题。

Andy Jassy强调，亚马逊开发产品评论亮点的方法是由客户需求驱动的，最终推出的解决方案可能比预期更简单或更受控制，但有效地解决了特定的使用场景，同时优先考虑了安全性、人工监督和成本效率。

亚马逊的基于人工智能的产品评论总结工具可以分析客户评论、对内容进行分类、应用情感分析，并提供评论摘录，以提高透明度和深入理解。

亚马逊推出了一款新产品，可以提供准确、负责任、透明、安全和经济高效的评论和总结，没有延迟，从而维护客户信任。

亚马逊自主研发的Inferentia和Tranium芯片组，与竞争对手相比，成本性能高出40%，为机器学习工作负载带来更高的投资回报率和可持续性。

总结

在一段引人入胜的叙述中，亚马逊的专家们深入探讨了生成式人工智能的领域，揭示了亚马逊Rufus和Review Highlights中所蕴含的创新织锦。这段旅程从亚马逊所面临的规模和速度挑战开始，每年为超过2亿客户提供服务，处理数十亿笔订单。

在这个庞大的格局中，生成式人工智能成为了一个强大的助手，诞生了诸如Product Listing Expert、AI Shopping Guides和Amelia(一款为卖家量身定制的对话助手)等解决方案。这些创新不仅简化了流程，还丰富了客户体验，增强了客户对购买决策的信任和信心。

随着叙述的展开，聚光灯落在了Review Highlights上，这是一个机器学习和语言模型的杰作。这个独特的系统汇总了群众的智慧，将大量客户评论浓缩为简洁、富有情感色彩的亮点。准确性、透明度和经济效益是指导原则，确保为客户提供无缝且值得信赖的体验。

接下来，对话式购物伙伴Rufus成为焦点。作为一个实时流媒体应用程序，Rufus展现了生成式人工智能在提供个性化、低延迟的大规模交互方面的威力。工程团队不懈地追求优化，利用亚马逊云科技的Inferentia和Trranium芯片组，为一个非凡的成就铺平了道路——在Prime Day期间成功为数百万客户提供Rufus服务，毫无差池。

当叙述接近尾声时，一个响亮的信息回荡在空中:以客户为中心的设计、精心的生产计划以及采用亚马逊云科技加速器等尖端技术的重要性。亚马逊生成式人工智能解决方案的旅程见证了创新在坚定不移地致力于提升客户体验的推动下所蕴含的无限潜力。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。