re:Invent 2023 | 使用 Amazon Bedrock 构建可执行任务的生成式 AI 应用程序

关键字: [Amazon Web Services re:Invent 2023, Amazon Bedrock Agents, Generative Ai Apps, Amazon Bedrock, Agents, Orchestration, Integration]

本文字数: 2300, 阅读完需: 12 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1EN4y1e7HF

导读

凭借对自然语言的强大理解和进一步定制特定领域任务的能力，基础模型（FM）非常强大。但FM本身是有限的，因为它们不能完成需要与外部系统交互的任务，并且它们没有最新的知识源。在本论坛中，学习 Amazon Bedrock 代理如何使开发人员更容易创建生成式 AI 应用程序，这些应用程序可以为各种用例运行任务，并根据公司知识，源提供最新答案。

演讲精华

以下是小编为您整理的本次演讲的精华，共2000字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

视频首先由亚马逊Bedrock的高级产品经理哈沙尔·帕尔（Harshal Pal）进行了介绍。他热情地欢迎观众参加在拉斯维加斯的2022年亚马逊科技re:Invent。哈沙尔对与会者表示感谢,因为他们克服了繁忙的交通困难,来到了曼德勒湾会场参加这次演讲。

接下来,他的同事、亚马逊云科技的首席机器学习架构师马克·罗伊（Mark Roy）也登上了舞台，哈沙尔形容他是他的“犯罪伙伴”。他们还有一位嘉宾演讲者，即雅典娜控股有限公司的首席技术官肖恩·斯瓦内（Sean Swanner）。哈沙尔感谢肖恩抽出时间参加他们的演讲。

然后,哈沙尔简要概述了演讲的议程。他表示,在过去的几天里,关于亚马逊Bedrock已经宣布了几个重要的公告,强调了在生成性人工智能领域的发展。通过Bedrock,亚马逊云科技旨在让开发者非常轻松地构建和扩展生成性人工智能应用程序。为了实现这一目标,Bedrock提供了三个层面的功能——模型、定制和集成。

今天的演讲将重点讨论集成部分,特别是Bedrock的一项名为代理的新功能。哈沙尔解释称,代理通过调用API和查找信息来完成用户请求的任务,从而将基础模型扩展到执行任务。这样,代理可以将任务分解成多个步骤并自动化这些步骤的执行。哈沙尔强调,代理简化了生成性人工智能应用的部署,支持多步协调,并在Bedrock之上提供完全托管的基础设施。

在哈沙尔的介绍性概述之后,他指出马克将接着讨论关于代理的结构和协调的部分。哈沙尔提到他们还打算进行一个演示,随后肖恩将谈论他的公司雅典娜如何利用代理。哈沙尔指出,尽管日程安排很满,但他们还是想留出时间来回答最后的提问。他和马克将在演讲结束后留下来回答任何其他问题。

接着,马克·罗伊走上舞台。他开始检查麦克风是否正常工作,因为房间和观众都很大。马克问在为期四天的漫长会议的第四天,还有谁精力充沛。只有一个人回应,马克开玩笑地说他的演讲将成为需要的能量补充。

马克对亚马逊的Bedrock代理进行了简要介绍。他表示，代理能够整合现有操作和知识库，并提供相应指令。创建一个代理的过程包括为其提供指令、API接口和知识库，然后Bedrock的基础模型将在后台处理响应请求。

马克展示了使用代理的一些简单实例。在最基本的情况下，只需两分钟时间，通过提供一些讲笑话的指令，就可以创建一个代理，无需其他操作或知识库。尽管这能让基础模型生成笑话，但仅凭自身并无实际用途。

真正有价值的是创建类似会议助理的代理。这需要提供关于代理人能处理什么的指令，如列出可用会议、获取行动项目、发送电子邮件以及与团队成员联系。此外，还需配置会议操作的操作组和实用程序以及通过API访问公司的系统。现在，您可以询问诸如从特定会议获取行动项目的有用问题，代理人可使用基础模型找到答案并为您汇总，甚至发送给您的团队。

马克还提供了一个例子，即HR政策助理代理。在这种情况下，除了操作组外，还需要连接知识库。如亚当·博斯沃思的主题演讲中所宣布的，Bedrock知识库现已广泛可用。知识库允许以完全托管的方式利用向量存储和嵌入模型。

对于HR助理，您将知识库指向现有的政策文件。现在当代理需要查找有关休假政策问题的信息时，它可以搜索知识库在文档中找到答案。马克强调了代理的灵活性——您可以使用操作组、知识库或者两者结合以满足特殊需求。

如果需要实现某些不适合代理默认功能的新开发者为具有挑战性的逻辑提供支持，马克强调代理并非黑箱——您可以查看甚至编辑底层提示以处理复杂情况。

概括而言，Mark解释了他的Action Groups的核心概念，包括描述、定义可用方法的API模式和实现代码。详细的模式描述对于帮助代理了解何时以及如何使用操作非常重要。实现代码通常会调用现有的服务和数据源，并将它们封装在一个简单的Lambda函数中。

例如，Mark描述了一个实用的工具Action Group，其中包括发送电子邮件等常见操作。这个Group提供了丰富的内容，而模式则列出了可用方法和参数。Lambda实现了描述的方法。Mark强调了通过利用现有的企业资源并将其包装在操作中，然后让代理在其上协调，从而可以轻松构建代理的过程。

在协调方面，Mark指出，代理在接受请求后会查看可用的动作和知识库，制定执行计划，运行步骤，评估结果，并返回答案。步骤可能涉及对行动组的API调用在知识库中进行搜索。代理会持续评估并根据需要重新定向，直到完成请求。

在技术细节方面，Mark解释了代理如何在给定任务时应用复杂的提示工程。它会自动结合对话历史记录、操作描述、知识库详细信息以及优化协调的提示。这种提示使得代理的思维过程能够执行像API和知识库查找这样的步骤，安全地集成系统。

Mark通过一个示例来说明如何处理问题“向政策持有者发送关于缺失文件的提醒，包括所需的具体内容”。代理确定了这需要经过四个步骤：获取未决索赔、识别缺失文件、构造带有要求的提醒邮件以及发送提醒。控制台中的推理轨迹以透明方式显示每个步骤和中间输出。

最后，Mark强调了一切亚马逊云科技服务的安全性都至关重要。他讨论了类似于IAM、加密和安全基石之类的代理安全措施。他强调，尽管代理似乎是控制台中进行测试的唯一功能，但它可以像任何亚马逊云科技服务一样被部署到生产应用程序并通过API调用来调用它们。

Mark随后强调了几个适用于代理的常见用例，如技术支持和工单优先级处理。由于代理能够根据需求动态调整最佳工作流程而非遵循固定逻辑，因此在技术支持场景中表现优异。他为读者展示了笔记本电脑援助和智能工单路由等实例，通过这些实例，自动化了原本需要人工操作的过程以提高效率。

最后，Mark详细解说了如何在控制台中构建和测试代理，以及如何创建版本和别名以便在实际生产环境中被应用程序和脚本所使用。控制台和SDK覆盖了整个开发周期并提供支持。他还简要概括了调用已部署代理、处理结果和处理对话会话的简便流程。

在完成对亚马逊Bedrock代理的概述之后，Mark将发言权交给了来自Athene公司的Sean Swanner，让他分享Athene是如何运用代理的。

Sean自我介绍是Athene的CTO，Athene是一家位于爱荷华州的领先的年金提供商。他们的业务包括在再保险交易过程中从其他保险公司承接数据块。在处理这些数据文件的过程中，需要对数据进行映射并加载到他们的系统中，这是一个重要的精算和数据科学工作。

然而，由于这个过程完全依赖于人工操作，每次再保险区块的迁移都需要投入大量的时间。了解到Bedrock的最新功能后，Athene与亚马逊云科技合作开发了自动执行这个过程的代理。

他们首先将数据文件和代码上传至一个S3存储桶。接着，他们编写了一个用于生成数据映射文档的代理并设置了操作组。这个代理能够解析数据文件和代码，从而构建出数据地图。它能够追踪数值如何跨模块进行计算并最终得出结果，从而自动生成了通常需要多个分析师花费大量时间的复杂数据映射文档。

接下来，他们还创建了一个知识库代理，允许用户通过提问来确认自己的理解，而不需要查阅代码。这使得分析师们能够更快速准确地完成任务。

肖恩解释道，这些智能代理提供了草稿文档和持久的信息源，使得他们的技术人员能够专注于更有价值的工作。在短短几分钟内，这些代理就能生成一张地图，而在此之前，每个区块都需要分析师花费两周的时间。

展望未来，雅典计划扩展这些代理的功能，以处理更多具有不同格式和预期的区块。他们将不断优化提示，因为相信这对于成功至关重要。肖恩对这些潜在应用充满热情。由于可以自动化重复任务，代理使得员工能够集中精力进行有价值的、具有附加价值的工作。

肖恩结束他的演讲后，马克开始了现场演示，展示了这些代理的实际效果。他首先展示了之前提到的保险理赔代理。这个请求会向所有缺少文件的未决理赔发送提醒。马克通过查看推理轨迹，向观众展示了代理是如何确定需要调用API来获取未决理赔、循环遍历识别缺失文件，并发送包含要求的提醒电子邮件的。轨迹显示了每个执行步骤和过程中产生的输出。

马克演示了另一个例子，代理可以根据一个可用于查找季度结果的API，分析2023年四个季度的产品调查趋势。代理迭代每个季度，并总结全年评分持续提高。

在客户关系管理场景中，马克展示了一个可以生成建议客户会议的代理。通过检查最近互动，代理确定客户预算被削减，对可靠性不满，因此提议举行一次会议，提供演示和讨论定价。

在知识库方面，马克展示了一个可以回答税收政策问题的代理。它通过搜索美国国税局文件找到汽车维护的扣除规定。然后，他启用了生成式回复，代理在完整回复中引用了具体出版物。

最后，马克展示了一个可以创建其他代理的代理。只需一个简单指令，它就可以生成一个在输入“你好”时回复“你好世界”的代理代码。这展示了代理的复杂性和灵活性，可以自动化多步骤工作流程。

总的来说，演讲内容涉及到了亚马逊Bedrock代理如何提供全面的协同功能，以简化AI应用程序的构建过程。通过自动化的指令、操作、API、知识库和基础模型，该代理能够减少代码量、加速开发进程、提高可见度以及控制和安全性能。实际案例充分展示了该代理在处理手动业务流程方面所展现出的强大能力。

下面是一些演讲现场的精彩瞬间：

领导者介绍了名为Mark Roy的专业人士，他是亚马逊云科技领域的首席机器学习架构师；同时，还介绍了Sean，他担任Athen Holdings公司的首席技术官。

这两位专家均作为演讲嘉宾出席了此次会议。

为了处理保险索赔问题，代理已经制定了一个详细的计划，包括收集数据、寻找文件依据以及向保单持有人发送提醒邮件等步骤。

API模式的实施对于编写详细且全面的代理操作指南至关重要。

由于处理保险数据文件的遗留代码分散在多个存储库中，因此维护这些代码变得困难重重。

经过一段时间的实践，代理在处理更复杂任务方面取得了显著进步，而在这个过程中，提示和指导以及调整策略都成为了一个持续的过程。

借助API模式，代理能够更好地了解如何协调各种操作并采取最佳的执行策略。

总结

本文主要介绍了一种名为Amazon Bedrock的新型代理功能，该功能旨在帮助用户轻松构建和扩展人工智能应用程序。通过使用这种代理，软件开发人员可以将其任务分解成一系列协调一致的步骤，并实现与API和数据库的自动化交互。以下是一些关于此功能的详细描述和优势。

首先，代理的主要优势在于它简化了提示工程的复杂过程。开发者只需提供自然语言指令，Bedrock便会自动处理思想链并生成优化后的提示，从而降低了开发人员的负担。

其次，代理提供了对推理过程的透明度和可视性。通过查看底层提示和思想追踪的每一个环节，开发者可以更好地进行调试并确保其模型按照预期运行。

最后，安全性仍然是代理功能的核心关注点。代理支持安全地对Lambda函数进行API调用，同时Bedrock还提供了企业级的访问控制。总之，代理通过在背景中处理协调复杂性，大大简化了人工智能应用程序的构建过程。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134837150

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。