基于亚马逊云科技AmazonBedrock构建RAG的实践经验

关键字: [亚马逊云科技中国峰会2024, amazonbedrock, 知识库增强, 生成式Ai应用, 语义搜索, Embedding模型, 知识库构建]

本文字数: 2200, 阅读完需: 11 分钟

导读

在亚马逊云科技中国峰会2024上,叶小薇解决方案架构师介绍了如何使用检索增强生成(RAG)模型改进生成式AI应用程序的响应。她解释了RAG模型如何通过将知识库内容与大语言模型结合来提高内容质量、支持多轮对话和个性化响应。她还介绍了亚马逊云科技的知识库服务(Amazon Bedrock Knowledge Base)如何帮助快速构建RAG系统。最后,黄丽娟分享了他们公司如何利用该服务解决客服效率问题,提高客户满意度并获得良好的投资回报率。

演讲精华

以下是小编为您整理的本次演讲的精华，共1900字，阅读时间大约是10分钟。

非常荣幸,我是亚马逊云科技的解决方案架构师叶小薇。今天,我很高兴能够与大家分享我们基于AmazonBedrock这个知识库产品去构建检索增强生成(RAG)的一些实践经验。

前15分钟,我将就我们的这个服务以及在构建RAG过程中遇到的一些困难和场景与大家进行技术上的分享。后15分钟,我们的客户黄女士将分享她在实践过程中的心路历程和设计思路。

大模型虽然很强大,但在我们自己特定的场景中永远需要去做一些定制。我们在自定义基础模型时,有几种方式可以考虑。第一种是通过提示工程的方法,使用常见的最佳实践去修改大模型的输出。第二种就是今天要重点介绍的RAG模式,会有一些静态的知识来增强当前的大模型输出。第三种是做微调,适当地改变模型的权重,让它更符合我们的输出风格或内容。最后一种是,如果我们有大量的数据集,可以自己从头训练一个完全独立的私有化大模型。

在自定义和增强的思考路径中,我们需要考虑最终要解决的问题是否需要依赖外部数据,是否需要依赖我们自己本地的知识库或知识数据。如果需要,这些数据是静态的还是动态的?如果是静态的,就特别符合RAG这种场景,我们会预先把数据灌进去。如果是动态的,可能需要结合智能体去动态调用我们系统内部提供的接口获取实时数据,比如订单数据。如果不需要外部增强,我们有大量历史数据,通过训练就可以完成当前任务,那我们可以走微调或直接预训练的路径。

RAG的整体流程包括三个部分:检索、增强和生成。我们需要支持更优秀的语义检索方式。然后,我们会把知识库内容填补到输入给大语言模型的提示词中,最后让大模型按照我们预期的要求输出响应。

RAG的应用场景包括:第一,提升内容质量,严格限定回答问题的内容,防止出现幻觉,特别是在直接面向客户的场景。第二,支持多轮对话,让模型能够记住历史上下文。第三,根据不同的人去特定角色做个性化搜索。最后,通过API去做实时数据汇总,拿到更实时的数据回答客户咨询或内部场景的问题。

检索类型有关键词搜索、结构化数据SQL搜索,在RAG场景下需要使用语义搜索。语义搜索是通过文本嵌入去找到相似文本,可以比传统搜索找到更多相关联的内容。

文本嵌入的过程是:首先需要训练或选择一个嵌入模型,将人类文本转化为数字化向量表示。搜索时,我们提取文本特征转为数字向量,然后找到两组数字向量之间的相似关系,作为匹配的条件。通过多模态文本嵌入,模型能够理解不同语言之间的语义关系,所以嵌入模型很重要。在RAG过程中,我们需要基于语义的文本搜索,将搜索出的内容填充到大模型的上下文中,使用嵌入过的提示更有效地提取上下文,最终生成更符合需求的内容。

在AmazonBedrock中,可直接使用Text Embedding Web Two这种嵌入模型,它支持不同向量维度的输出和检索,可根据时延或精度要求选择合适维度,从成本或时间角度考虑。它的预训练数据包含100多种语言,因此支持处理中文、英文或其他语言文档。

构建RAG应用需要考虑数据和文本生成两部分工作。在数据准备阶段,需要将现有文本文档分块,通过嵌入模型生成向量,存入向量数据库。在文本生成时,用户问题也需通过同样的嵌入模型转为向量,在向量数据库中做语义检索获取准确上下文,将上下文放入提示增强的大语言模型中,得到最准确的响应。

真实实践中,我们需要管理不同数据源头、文档更新删除、选择合适的嵌入模型、编写代码、扩展搜索策略、编排大模型与知识上下文、做意图识别等工作,这些需要花费大量时间和代码。

幸运的是,AmazonBedrock的知识库服务可以作为一个开箱即用的服务,帮助我们解决上述所有问题。在控制台中,选择嵌入文本、数据源,上传文档并点击同步,它就会处理所有文档,对外提供接口。我们只需在应用系统中对接这些接口,就能做输入输出,拿到完整的RAG响应。

知识库会自动化整个数据摄取流程,包括文档解析、分块策略选择、嵌入模型选择和向量数据库选择等,并为我们做了合理的预设,大大简化了工作。在使用阶段,知识库提供了完全托管的检索与生成API,输入问题就能获取RAG答案及相关元信息。它还提供自定义工作流程,允许我们自行编排提示增强和大模型响应的过程。

同时,知识库与AmazonBedrock的智能体Agent做了集成,知识库可作为智能体的一个工具被调用。智能体能够根据具体场景,通过Action去调用公司内部提供的API或其他接口,完成更复杂的工作流程。通过智能体,我们可以检索知识库、调用其他系统功能,最后由大源模型输出响应,构建一个更懂我们业务的智能体。

快速回顾一下,大源模型虽然强大,但通常与实际场景需求有差距,所以我们需要定制它。RAG是一种很好的定制方式,通过AmazonBedrock知识库,我们可以获得一站式的RAG构建服务,并与智能体Agent集成,支撑更复杂的应用场景。

接下来,我将时间交给我们的客户黄丽娟女士,让她来分享他们是如何在客服场景中使用知识库解决实际问题的。

黄丽娟女士首先介绍了她所在的华宝鑫公司,这是一家跨境出海的企业,主要有两条产品线:户外便携能源产品和家庭个人发电站,国外品牌叫Jackery,国内叫店小二。他们的销售渠道包括线上线下、自有平台和第三方平台,算是全域覆盖。

华宝鑫的老板对AI非常感兴趣,希望能够在企业内部推进AI的应用探索,但也关注几个问题:切入AI需要投入多少钱?需要多长时间才能见到效果?ROI是多少?作为CIO,黄女士需要给老板这些问题一个答复。

他们发现,在大促期间,客服工单量会剧增50%甚至2-3倍。传统做法是临时招聘外包人员,但效率和效果都不理想。通过分析,他们发现60%的工单属于文本类咨询,70%的工单一次性回复就可解决,问题不太复杂,因此认为AI很适合切入解决这一痛点。

另一方面,他们的知识库基础比较薄弱,与工单的占比只有5%左右,远低于行业15%的水平。如果先让客服团队把知识库梳理完善,再推进AI项目,由于客服无法确定哪些知识库真的会用到,阻力会很大。因此他们决定先用现有的知识库尝试,卖出一个MVP看看效果。

在立项时,他们首先考虑了安全性,亚马逊云科技在用户数据安全方面是值得信赖的。其次,通过对比发现使用成熟的第三方组件能够快速切入,所以选择了这种方式,而非自己从头做。

部署和初始化的过程非常简单,只需半天时间就完成了开通知识库、创建实例、导入文档、部署服务和将插件配置到现有客服系统(ThankDesk)的工作。

第一周进行小范围试点时,有24%的工单直接使用了AI生成的回复,这个结果虽然不高,但客服团队看到了一些效果,开始对此产生兴趣,并主动补充了一些知识库内容。同时他们发现,由于是在日本试点,需要调整Prompt使用第一人称和敬语。所以他们设定目标,希望第一轮迭代能把使用率提升到40%左右。

果不其然,在第二三天使用率就达到了30%多。但他们又发现40%的用户没有选择AI回复,原因是生成回复较慢。于是开发团队在上周六就做了调整,在工单进来时就生成回复,客服打开时就能直接看到现成答案,获得了客服团队的大力认可。

接下来,他们还将加入意图识别、自动分配不同角色等功能,并根据准确度开启自动回复。初步评估,该项目至少能够在大促期间保持客户满意度不下降,同时优化客服支持成本。假设25%工单可自动回复,预计ROI至少为9倍,实际ROI可能会更高。

通过这一AI应用的探索,业务负责人和老板认识到了AI的价值,认知到AI虽高大上但可以快速切入、快速产生效果。中层建立了将技术与业务场景结合的经验,执行层对AI产生了浓厚兴趣和信心。虽然只是星星之火,但在客服领域已经产生了燎原之势,他们也列出了更多可以应用AI的场景,纳入后续推进计划。

总的来说,这个案例生动展示了如何利用亚马逊的RAG解决方案快速切入AI,解决实际业务痛点,并分享了实践中的经验和教训。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技高管分享了公司在构建创新服务时所面临的挑战和场景,并邀请客户黄女士讲述在实践过程中的心路历程和设计理念。

亚马逊云科技中国峰会2024上,演讲者解释了Embedding技术在自然语言处理中的重要性,以及如何利用Embedding将文本转化为向量表示,从而实现基于语义的文本搜索和上下文理解。

亚马逊云科技中国峰会2024:构建智能问答系统的挑战,需要管理多种数据源、选择合适的嵌入模型、编写代码、整合语义搜索和传统搜索、进行意图识别等,耗费大量时间和精力。

亚马逊云科技中国峰会2024:亚马逊知识库帮助用户轻松处理数据工作流程,从数据摄取、文本解析、分块策略选择到向量数据库选择,一站式解决方案。

亚马逊云科技通过Bedrock知识库实现了完全自动化的数据摄取流程,并提供检索与生成API,支持自定义AI工作流程。

亚马逊云科技中国峰会2024:亚马逊Bedrock为智能体提供了可视化工具、调试工具和完全托管的基础设施,让智能体能够无缝调用知识库和公司内部API,完成复杂工作。

亚马逊云科技中国峰会2024上,演讲者分享了在客服领域利用人工智能的创新实践,这些微小的尝试已经在该领域掀起了新的浪潮。

总结

亚马逊云科技中国峰会2024上,亚马逊解决方案架构师叶小薇分享了如何利用检索增强生成(RAG)模型改进生成式AI应用程序的响应。她阐述了以下几个关键点:

1. 大型语言模型虽强大,但在特定场景下仍需定制化,RAG模型通过将知识库内容融入生成过程,可提高响应质量、支持多轮对话和个性化搜索。
2. 亚马逊Bedrock知识库服务可自动构建RAG系统,包括数据摄取、语义检索和生成响应,大幅降低开发难度。
3. 知识库与智能体集成,支持更复杂的应用场景,如调用企业内部API获取实时数据。

华宝鑫公司CIO黄丽娟随后分享了利用Bedrock知识库优化客服效率的实践案例。通过快速部署、迭代优化,实现了工单自动回复,提高了客户满意度,降低了运营成本,预计投资回报率达9倍以上。该案例让公司高层认识到AI的价值,中层掌握了技术与业务场景结合的经验,基层人员对AI产生浓厚兴趣,为公司AI化奠定基础。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。