re:Invent 2023 | 通过 RAG 改进生成式 AI 应用程序中的响应效果

关键字: [Amazon Web Services re:Invent 2023, Retrieval Augmented Generation, Knowledge Bases, Embeddings Models, Semantic Search, Prompt Engineering]

本文字数: 1200, 阅读完需: 6 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1bu4y137KA

导读

通过一种称为检索增强生成 (RAG) 的技术，生成式 AI 应用程序可以通过合并特定于组织的数据，提供更好的响应。但实现 RAG 需要时间，配置到数据源的连接，管理数据摄取工作流，并编写自定义代码，管理基础模型 (FM) 和数据源之间的交互。加入本论坛，了解如何使用 Amazon Bedrock 简化流程。基于用户提示，Amazon Bedrock 自动识别数据源，检索相关信息，并将信息添加到提示中，从而为基础模型提供更多信息以生成响应。在本论坛中查看其工作原理。

演讲精华

以下是小编为您整理的本次演讲的精华，共900字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

Ruha Marcus, Amazon Lex的知识库产品经理，以及Benny Mathew，一位生成式AI专家，在2022年re:Invent上向大约200名观众做了一场精彩的25分钟演讲，讲述了如何利用检索增强生成（RAG）来提高生成式AI应用中的响应质量。他们首先解释了为什么对于企业来说，定制基础模型很重要。这些模型内部包含了大量的预训练知识，但往往缺乏与特定公司领域、使用场景和数据集相关的详细信息。定制模型有助于使其适应特定行业的专业术语，提高与企业业务相关的定制任务的性能，并通过将其与公司的文档、知识库和数据库等数据源相关联，提供更好的上下文。

他们介绍了企业可以采用的多种定制基础模型的方法。最简单的方法是提示工程，即精心构建传递给模型的提示或指令，以引导其输出。更先进的技术包括检索增强生成（RAG），这是一种从外部数据源检索知识以丰富模型背景的方法；模型微调，用于使模型适应特定数据集和任务；以及从头开始训练定制模型。主讲人强调，由于观众对利用公司知识库的兴趣，他们的重点将是RAG。

他们解释说，RAG通过将模型的幻觉或无根据的输出减少50%，提高了模型回应的质量和准确性，使模型能够“坚守自己的岗位”并不会产生虚假信息。它允许模型仅根据公司的文档、知识库或数据库中的相关数据回答自然语言问题，而不是依赖模型的预训练知识。

一些可能受益于RAG的有影响力的用例包括：

• 构建可以参考公司FAQ知识库的回答客户问题的基于上下文的聊天机器人。
• 开发使用公司产品文档进行准确回答的客户面向的问题解答系统。
• 创建根据个人用户配置文件和过去活动提供定制结果的个性化搜索应用程序。

制作文本摘要工具的工具旨在从原始文本中提取关键点，从而生成报告的摘要或文章摘要。从技术角度来看，该过程包括两个主要步骤：首先从文档集合、知识库或其他公司数据源中检索相关信息；其次在传递给基本模型的提示中添加检索到的上下文。关键是只检索相关信息，而不是用过多的无关数据淹没模型，因为模型的上下文限制为2048个标记。这样可以使模型能够在其公司的知识基础上生成高质量的响应。为了便于检索，文本需要转换为具有高达90%准确性的词和概念之间的语义关系的数值表示或嵌入。这允许语义搜索将问题与相关的段落匹配，而不仅仅是关键词匹配。亚马逊最近推出了专为文本检索和基于规则的获取应用的Titan文本嵌入模型，支持超过25种语言，实现了跨不同语言的语义搜索。然后，Ruha介绍了用于Amazon Bedrock的知识库，这是一个全自动管理的云服务，可为客户自动化整个基于规则的工作流程。它处理来自如S3等来源的数据摄入，将文档分成较小的约300个标记的片段，使用像Titan这样的模型生成嵌入，将其存储在经管理的向量数据库中以实现高效的检索，并提供API以安全地将Bedrock基础模型连接到知识库。检索和生成API自动为自然语言问题检索前5个最相关的段落并将其用于提示，将生成的回应返回给所选模型，如Anthropic的Claude或Insta的Davinci，并在不到500毫秒内返回生成的回应。重要的是，源属性告诉用户作为答案证据使用的具体文档，提供了透明度和可追溯性，这对于信任至关重要。

本尼随后在现场向观众展示了一个关于使用控制台创建知识库的演示。他成功地将在S3存储桶中的1GB税收相关文件同步到了向量数据库中，整个过程仅花费了7分钟时间。接下来，他还对检索和生成API进行了测试。观众们可以清楚地看到来源信息的归属，并提供返回用于回答远程工作税收相关问题所需的原始文档链接。

演讲者还强调了如何使用开源框架（例如LangChain v0.0.0.342+）和Bedrock SDK v1.33.0.2+中的知识库检索器库来构建RAG功能。他们通过代码演示展示了如何初始化一个检索器以及如何使用知识库ID来轻松构建一个问答应用程序。这使得开发人员能够利用现有的工具，同时充分利用Bedrock的托管知识服务。

总的来说，马库斯和马修向观众展示了公司是如何利用RAG和Bedrock的知识库将基础模型与公司数据源连接起来的。这样不仅可以减少未经验证的输出，还可以实现符合组织领域细节的自然语言应用。RAG是一项强大的技术，可以使模型定制化，并通过来自文档和数据库的上下文知识来增强它们。这项服务由亚马逊轻松提供，非常易于使用。

下面是一些演讲现场的精彩瞬间：

基金会采用自然语言问题生成查询的方式，从数据库中获取相关信息。

领导者们讨论了亚马逊Bedrock如何借助其完全管理的知识库和拖放式架构，简化复杂问题的解决过程。

亚马逊云科技为客户提供端到端的数据注入工作流程，无需额外构建和维护复杂的数据管道。

亚马逊云科技Transcribe具备灵活的分块选项，如默认的每300个标记的20%重叠，或自定义的分块设置，由用户指定标记数量和重叠百分比。

亚马逊Textract现已支持25种语言，有助于保持跨词汇的语义关系。

演讲者感谢观众的参与，并邀请大家在re:Invent上分享如何使用知识库的经验和建议。

总结

演讲者探讨了如何运用检索增强生成（RAG）技术来提升生成性人工智能应用的质量和准确性。RAG系统通过从知识库中检索相关信息并将其作为生成响应时的背景知识来运作。演讲者详细解释了RAG系统的组成部分，包括数据摄入、嵌入模型（如Amazon TITAN）、向量数据库和基础模型。为了降低构建RAG应用的难度，他们推荐使用了Amazon Bedrock知识库。这个全托管的服务负责数据摄入、嵌入、检索以及将知识库与基础模型连接。演讲者展示了如何利用Bedrock的检索和生成API来创建知识库、同步数据源并用检索到的背景知识生成回应。此外，他们还展示了如何将Bedrock的检索API与开源LangChain库集成以构建一个问答应用。总之，RAG通过在真实数据的基础上构建回应来提高内容的质量。Bedrock知识库简化了运用RAG过程，使开发者能够专注于其应用场景而非构建复杂的基础设施。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134835642

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。