re:Invent 2023 | 使用 Amazon Bedrock 加速生成式 AI 应用程序开发

关键字: [Amazon Web Services re:Invent 2023, Amazon Bedrock, Generative Ai, Amazon Bedrock, Accelerate Development, Model Choice, Use Cases]

本文字数: 1800, 阅读完需: 9 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Pc411D73M

导读

生成式 AI 有潜力通过实现更直观的对话体验，改变公司构建应用程序和吸引客户的方式。在本论坛中，学习如何利用 Amazon Bedrock 的 Serverless 体验，通过选择领先的基础模型，快速构建和扩展生成式 AI 应用程序，同时维护安全和隐私。了解如何使用自己的数据私下定制模型，以向客户提供差异化的体验。查看 Amazon Bedrock 的端到端开发人员体验和广泛功能的演示。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

马克·罗伊（Mark Roy）在演讲开始时表达了对讨论“今年最热话题”－生成性AI的热情。作为亚马逊云科技首席机器学习架构师，同时也是Amazon Bedrock的主要架构师和解决方案架构师，他表示各地的开发者正借助生成性AI和基础模型来创造全新的体验，解决过去无法实现或成本过高的问题。他特别提到了亚马逊Bedrock这项服务，旨在加速用户在生成性AI领域的进程，帮助他们更快速、更安全地利用这一技术。

马克在台上还与Girish Runi（亚马逊云科技的ML专家）和Sanjay Nair（美国航空公司的代表）进行了互动。他强调了这次演讲的目的，即梳理2022年re:Invent上的Bedrock相关公告，为如何开始和快速跟进开发提供指导。

在设定背景时，马克解释说观众们已经被一家名为OC Tank Financials的虚构但规模庞大的金融服务公司雇佣，这家公司拥有多个投资、退休、保险等业务部门。OC Tank已经积累了大量的生成性AI应用场景。演讲将探讨其中三个最常见的任务，以及Bedrock如何加速它们的实现。

Girish首先介绍了这些使用场景。第一个任务是问答。他指出，OC Tank有大量如政策、招股说明书和记录等文档。客户希望能够与这些文档互动并获得准确的答案，而非仅仅基于模型认为正确的答案。为了实现准确的问答，OC Tank可以利用Bedrock构建一个知识库，通过将其输入到知识库中来实现。这样的知识库具备高效嵌入模型，能够存储这些嵌入的向量存储，从而支持基于语义相似性的文档搜索。

Giles Shi介绍了OC Tank如何通过两种途径利用知识库。首先是通过客户聊天机器人，查询知识库并使用语言模型生成自然的回应。其次是通过人类支持员工使用的代理控制台，也可以查询知识库并通过API调用执行取消订单等操作。他强调了问答系统的关键功能包括：知识库可以将模型与公司数据安全连接以增加准确性；提示工程可以通过添加额外上下文来增强查询；答案可以包含对源文档的引用；代理可以根据生成的计划自动执行任务和API调用。

在文档摘要方面，Giles Shi解释说，OC Tank的研究团队需要每天总结数千份长长的收入报告等文档。他概述了一个构建者如何在Bedrock上开发摘要模型的过程。他们可以测试不同的模型，然后比较成本、速度和准确性指标。在生产中，批量处理可以对历史文档进行补填，而事件驱动管道可以自动总结每个新文档。摘要系统的关键功能包括：批量处理适用于大型工作量如补填；事件驱动管道可以在新数据上调用模型；内置支持用于比较模型。

在实体提取方面，Giles Shi解释说，OC Tank收到了数百万封需要分析的客户电子邮件。目标是提取关键信息，如账户号，以便将其正确路由。与摘要类似，可以使用经过筛选的测试集来评估不同的模型并选择最佳模型。所选模型在公司数据上进行微调以提高准确性。代理可以解析传入的电子邮件，使用经微调的模型提取实体，并可以进行数据库API调用以自动处理消息。实体提取系统的关键功能包括：微调通过在公司数据上训练以提高准确性；代理协调解析、模型调用和数据库操作；精选测试集有助于模型评估。

Giles Shi总结说，这些使用案例之间的共同点就是模型的选择。Bedrock提供了对多个提供商的模型的访问，并且还有更多模型即将到来。因此，公司可以通过针对其使用案例需求定制的单个界面来利用多个模型。

通过向导或API，无需编码即可创建它们——统一查询，支持或有或无语言模型；快速从向量相似性搜索中检索；对安全有严格的访问控制。在第三个演示中，Mark展示了一个协助销售代表管理客户关系的代理。该代理能够接收文本请求，识别所需的操作和API调用，执行这些调用，处理结果，并以自然语言的形式返回回应。他还展示了代理的控制台，开发者可在其中设置可用的操作及其输入/输出模式。控制台还提供了追踪日志，显示了代理的内部步骤。代理的主要优势包括：自动化工作流程的能力，动态确定所需操作的灵活性，以及处理来自不同来源的结果。随着时间的推移，工作流程将不断改进和发展。随后，Mark邀请联合航空公司的Sanjay Nair上台发言。作为联合数据、AI和分析工程团队的负责人，Nair介绍了联合航空公司增长战略的重点，即在增加700架新飞机的同时，坚持其口号“做好榜样”，为社会和客户做好事。他认为，AI，特别是生成性AI，在运营、飞行操作、收入管理和销售方面具有巨大潜力。他的团队致力于构建一个平台来实现这一价值。

在2022年人工智能技术迅猛发展的前夕，联合公司并未制定明确的生成性AI计划。然而，他们意识到了这个巨大机遇的存在，同时也认识到了在没有有效治理的情况下过快采用技术的潜在风险。因此，他们制定了相应的指导原则，重点关注所有业务部门的倾听、快速进入市场、简化集成以及集中运营管理。

在对Bedrock进行评估时，联合公司发现其托管服务方式、API调用框架和模型选择都与他们的原则相契合。Bedrock还能够与联合公司现有的亚马逊云科技机器学习平台顺利集成。

Sanjay介绍了联合公司的技术架构。他们已经基于亚马逊云科技建立了机器学习运维平台，作为基础。他们可以迅速将Bedrock集成以利用其API、模型目录、知识库和责任AI功能。

接下来，联合公司在Bedrock的核心基础设施上构建了加速器，例如常见任务的模板。这使得快速实施案例成为可能，同时减少了定制软件的需求。

Sanjay总结了联合公司的主要经验教训：他们在现有亚马逊云科技ML投资的基础上建立，而不是进行重大转变；需要企业范围内的沟通框架；他们首先关注高价值、低复杂性的使用案例；Bedrock提供了必要的模型选择和定制。

随后，他讨论了联合公司的初始使用案例，专注于客户体验。他们构建了摘要、对话互动、情感分析以及新兴领域如多模态学习的解决方案。

展望未来，Sanjay解释说联合公司将依赖Bedrock的持续创新，以便他们的团队可以专注于数据和案例。关键优先事项包括成本优化、扩展知识库以及确定每个任务的最佳模型。

最后，Sanjay表示联合公司的目标是将Bedrock作为基础，同时他们将集中精力将生成性AI应用于客户和员工体验的变革。Bedrock使他们能够负责任地扩大规模，并通过AI推动商业效率。

总的来说，Mark希望在实际背景下开始使用生成性AI的过程中，这次演讲能为其提供指导。他鼓励观众通过控制台、工作坊或Party Rock尝试Bedrock。用户反馈驱动路线图，所以分享经验是很有价值的。

马克对演讲者和观众表示感激，他认为当前阶段的讨论非常引人入胜。他强调，通过Bedrock，企业能够将关注点放在自己的数据和应用场景上，而将基础设施方面的工作交给亚马逊云科技来解决。在发表这些观点之后，他宣布会议结束。

下面是一些演讲现场的精彩瞬间：

领导者对生成性人工智能（AI）作为游戏改变者的潜力表示赞赏，这使得建设者能够创造出全新的体验并解决之前无法解决的问题。

知识库的运用有助于将基础模型安全地连接到公司数据，从而提高准确性并实施负责任的人工智能应用。

她利用高级模型Clod处理存储库中的50万份文件，并将摘要存储在数据库中。

通过亚马逊云科技的Step Functions和Amazon Comprehend，实现了快速文档总结和分析的事件驱动无服务器管道。

谭金融利用Amazon Textract从客户电子邮件中提取关键信息并采取相应的行动。

马克感谢桑杰对其解释联合航空公司如何利用Bedrock的功能来利用生成性AI的创新方式表示感谢。

领导者鼓励Bedrock用户提供反馈，以便帮助推动未来的发展。

总结

亚马逊基石（Amazon Bedrock）通过提供一个统一API，方便地访问领先的基础模型，助力企业快速构建和部署生成性AI应用。视频中展示了基石如何使得用户能够在不同的用例中轻松切换模型，如Llama、Cloud和Titan。此外，还强调了诸如知识库和代理等关键功能，展示了基石在执行复杂工作流程的同时，如何安全地将模型连接到公司的数据。

例如，美国联合航空公司利用基石技术来总结政策、启动对话式聊天机器人以及分析客户情感等方面。基石与美国联合航空公司的数据平台相集成，提供了模型监控、提示日志及其他负责的AI功能。展望未来，随着美国联合航空公司在企业范围内进一步扩大生成性AI的应用，优化成本和微调定制模型将成为重点。总之，基石提供了一个管理平台，用于调用、扩展负责任的人工智能，从而加速开发过程，使公司能够专注于从数据中创造商业价值。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134835584

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。