亚马逊生成式 AI 购物助手 Rufus 背后的技术！

本文作者 Trishul Chilimbi

亚马逊商店 Foundational AI 组织

副总裁兼杰出科学家

“寒冷天气打高尔夫需要什么？” 

“越野鞋和跑步鞋有何区别？”

 “对五岁孩子来说，最好的恐龙玩具是什么？”

在实体店，顾客可能会向乐于助人的销售助理提出这些开放式问题。但如果是网上购物，顾客会如何进行选择？

亚马逊云科技的答案是 Rufus —— 一个生成式 AI 购物助手。Rufus 可以回答亚马逊购物应用中的各种问题，从商品详情、商品比较到推荐，帮助亚马逊客户做出更明智的购物决策。它的存在得益于人工智能的进步和创新。

生成式 AI 在多个方面的创新技术，对构建实用型对话式购物助手来说至关重要。

包括构建一个专门用于购物的定制大型语言模型（LLM）；采用多种证据来源的检索增强生成法（RAG）；利用强化学习来改进响应；在高性能计算方面取得进展，提高推理效率，降低延迟；并实现一个新的流架构，以支持更好的客户体验。

Rufus 选择包括亚马逊云科技的自研芯片 Amazon Trainium 和 Amazon Inferentia 在内的亚马逊云科技基础设施来大规模提供这些体验，为生成式 AI 提供了极为先进、安全、可靠的基础和极高性价比。

从零开始构建定制化 LLM

大多数 LLM 在提高其整体知识和能力的数据集上进行训练，然后针对特定领域进行定制。从一开始，Rufus 就主要通过数据来训练—首先是亚马逊的商品目录，以及客户评论和社区问答帖子中的信息。科学家建立了一个先进的、自定义的 LLM，将这些数据源与网络上的公共信息结合在一起，仔细策划每个数据源对模型训练的贡献。

亚马逊云科技的服务 Amazon EMR 可用来准备数据，并使用 Amazon S3 来存储数据。这两个服务在创建安全可靠的基础以构建自定义模型方面都发挥了关键作用。

       使用 RAG 技术

获取有可靠来源支持的答案

为了回答可能被问到的大量问题，Rufus 需要超越训练数据，使用它以前没有见过的信息。这就是 RAG 发挥作用的地方：在生成响应之前，LLM 首先选择可能有助于回答购物者问题的信息。

Rufus 从可靠的来源获取信息，比如客户评论、商品目录、社区问题和答案，并调用相关的 Stores API。使用 RAG 处理的复杂性是独特的，这不仅是因为选择的数据源的多样性，而且根据问题的不同，每个数据源的相关性也不同。

通过强化学习不断提高

团队持续训练每一个 LLM，并不断探索每种生成式 AI 技术的应用。为了让 Rufus 在互动中更有帮助，它需要了解哪些响应有用，哪些可以改进。通过强化学习的过程，客户可以成为信息的绝佳来源。

亚马逊鼓励客户给 Rufus 反馈，让模型知道他们喜欢或不喜欢的答案。随着时间的推移，Rufus 从顾客反馈中学习，并改进它的响应，生成更好的答案帮助顾客购物。

亚马逊云科技人工智能芯片

实现低延迟和高吞吐量

Rufus 需要在没有任何明显延迟的情况下同时与数百万客户进行交互。这尤其具有挑战性，因为生成式 AI 应用程序的计算密集型非常大，特别是在亚马逊云科技这样的规模下。

为了极大限度地减少延迟，同时大限度地提高吞吐量，团队采用了亚马逊云科技自研的  Amazon Trainium 和 Amazon Inferentia 芯片，与核心服务集成在一起。同时与 Neuron 编译器团队合作，实现了提高模型推理效率的优化，并将这些优化提供给了所有亚马逊云科技的客户。选择亚马逊云科技自主研发的人工智能芯片可以让团队快速行动，大规模部署，并跟上客户的需求。

然而，使用 LLM 批量处理请求的标准方法仍然可能损害吞吐量和延迟。这是因为很难预测 LLM 在编写响应时将生成多少 Tokens（在本例中是文本单元，如单词或标点符号）。科学家与亚马逊云科技合作，使 Rufus 能够使用连续批处理（continuous batching），这种新颖的 LLM 推理特定技术，可以在每个 Token 生成后为新请求做出路由决策。使模型能够在批处理中的第一个请求完成后立即开始服务新请求，而不是等待所有请求完成，购物者可以因此更快地获得答案。

流处理架构

Rufus 的目标之一是对任何给定的问题提供极为相关和有帮助的答复，形式会是长篇或简短的文字答复，以及帮助客户浏览商店的超链接。

以一种客户容易理解的方式呈现答案本身就存在技术上的困难。信息需要遵循逻辑流程。如果没有正确地分组和格式化内容，可能会得到一个令人困惑的回答，给用户帮助不大。

凭借先进的流处理架构，Rufus 能够提供自然的用户体验。基于逐个 Token 的端到端流意味着客户不需要花太长时间等待完整的答案生成。相反，他们可以先得到答案的第一部分，而其余的仍在进行中。Rufus 会通过向内部系统发出查询，用正确的数据填充流响应—这个过程称为 hydration。它经过训练可以生成标记指令，这些指令指定各种答案元素应如何显示，此外还能回答客户问题，从而为客户带来独特而有用的体验。

尽管亚马逊云科技已有超过 25 年通过人工智能改善客户体验的实践，但生成式 AI 代表着一种全新的、具有变革性的事物 —— 对亚马逊、其客户以及科学团队成员来说都是如此，我们得以创造出超乎想象的体验。相信生成式 AI 能迅速加快团队为客户创新的步伐，期待它在未来改善每位客户的体验！

搜索与信息检索

https://www.amazon.science/research-areas/search-and-information-retrieval

大型语言模型

https://www.amazon.science/tag/large-language-models

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

听说，点完下面4个按钮

就不会碰到bug了！

点击阅读原文查看博客！获得更详细内容！