了解Bedrock的安全性和隐私保护，以Remitly为例

了解Bedrock的安全性和隐私保护，以Remitly为例

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Amazon Bedrock， Generative Ai Security， Data Privacy Protection， Model Access Control， Application Security， Responsible Ai Guardrails]

导读

Amazon Bedrock的安全性、数据隐私、治理和监管控制可以帮助保护生成式AI应用程序。了解Amazon Bedrock的安全和数据隐私措施如何运作，包括其架构和实施模式。听听Remitly如何利用Amazon Bedrock的安全功能重新构想其客户支持和帮助中心平台，为690万季度活跃用户（2024年第二季度）提供服务，实现超过95%的交易无需实时客户支持。最后，了解Amazon Bedrock强大的数据隐私功能如何帮助Remitly与多个模型供应商集成，同时确保客户数据得到保护。

演讲精华

以下是小编为您整理的本次演讲的精华。

这段视频以Chin Wei来自亚马逊云科技的机器学习专家解释了安全性和数据隐私对各种规模组织的重要性为开端。他强调，这些问题在行业调查中年复一年地排在首要优先事项之列。Chin Wei概述了生成式人工智能安全性的三个阶段:模型本身、模型访问以及整体生成式人工智能应用程序安全性。

关于Amazon Bedrock这款全托管生成式人工智能服务的安全性，Chin Wei阐明Bedrock不会存储客户的推理或训练数据，从而确保数据隐私。所有提示和数据都按客户和API请求所在的同一区域进行隔离。Bedrock服务内部的通信始终是加密的，客户还可以使用自己的KMS密钥对微调后的模型进行加密。Bedrock已通过各种合规性计划的认证，进一步增强了其安全性。

Chin Wei随后深入探讨了Bedrock提供的连接选项。客户可以选择公共连接或私有连接，后者允许他们在自己的VPC和Bedrock服务之间建立私有连接。这确保了即使使用公共地址空间，流量也永远不会离开Amazon区域网络。

Bedrock中的访问控制通过IAM策略进行管理，使管理员能够控制谁有权限和身份验证来访问Bedrock资源。最近推出的应用程序推理配置文件功能允许通过附加标签和结合IAM策略条件，对模型访问进行更细粒度的控制。

Bedrock与Amazon CloudWatch集成，用于监控和提供模型调用日志记录，后者会在客户账户中存储所有请求、输入、输出和相关元数据。CloudTrail集成确保了可审计性，提供了在Bedrock账户中执行操作的记录。Chin Wei还介绍了Amazon Bedrock Guardrails，这是一套确保负责任人工智能政策得以执行的保护措施，可在模型推理前后阻止违规行为。

接下来，来自Remitly的Ankur讨论了他们如何实施Bedrock来改造客户支持体验。他强调对Remitly客户而言，快速可靠的资金转账至关重要，延迟会削弱客户对他们业务的信任。虽然95%的交易无需客户支持即可完成，但剩余的5%需要支持互动来解决交付状态和其他查询。

Remitly制定了一个积极目标，即利用技术在一段时间内将支持量减少4倍，以应对诸如服务18种语言、适应多种用例、提供实时在线聊天体验以及确保个人和财务数据安全性要求等挑战。

Ankur解释说，Remitly在生成式人工智能的意图分类方面表现出色，通过生成的响应改善了客户体验，因此看到了机会。提示工程和RAGS等功能使得在缓解幻觉的同时，能够使用大型语言模型。

Remitly的解决方案涉及传统和神经网络方法的混合搜索、内容检索、响应生成和响应验证。该架构利用了Bedrock的嵌入API、Converse API和Guardrails，在必要时会回退到更强大的模型，如Claude Sunnet。

Ankur强调，Bedrock中模型提供商和模型主机之间的职责分离，确保了数据隐私并防止了供应商锁定。他还展示了由Bedrock驱动的Remitly聊天机器人的演示，突出了生成的响应会引用客户可以进一步探索的参考文档。

结果非常出色，聊天机器人处理了四分之一的聊天，采用率达25%。客户满意度很高，只有3%的聊天机器人互动会升级到人工代理，证明了该技术的有效性。

Ankur分享了关键经验，包括安全性作为出发点的重要性、谨慎考虑模型在特定语言中的表现差异，以及大型语言模型在验证解决方案而非直接解决任务方面的优势。

Remitly的愿景包括通过新的基于意图的补救工作流扩大覆盖范围，利用语言理解能力检测意图分类问题，生成营销内容而不仅限于支持，扩展数据源，并与Amazon Bedrock Guardrails集成，而不是托管自己的系统。

在最后一部分，来自亚马逊云科技的Raj讨论了构建安全生成式人工智能应用程序的模式。他介绍了构建基础模型的两步流程:策划正确的数据和预训练，然后是关键的后训练对齐步骤，在这一步骤中，模型提供商会针对安全性和预期行为对模型进行微调。

Raj强调了模型访问安全性的重要性，突出了Bedrock与IAM的集成用于身份验证，以及在亚马逊云科技服务账户中托管模型工件以防止数据泄露。

在应用程序中使用生成式人工智能模型时，Raj确定了一些常见考虑因素，如防止幻觉、确保每个步骤的可见性、结合传统的身份验证和授权控制、将应用程序植根于特定数据，以及防御诸如提示注入或提示泄露等攻击。

Raj介绍了两种类型的控制:确定性控制(可重现且可解释)和概率性控制(旨在防止有害系统输入或输出，并确保相关性)。他提出了三种常见模式:提示工程、检索增强生成和工具使用与主动行为。

提示工程涉及编写系统提示，其中包含持久性指令来定义模型的行为和能力，以及通知系统提示的用户提示。Raj演示了如何通过优化的提示来显著提高准确性并防止对抗性攻击。

检索增强生成(RAG)涉及为数据源创建向量嵌入，并根据用户查询将相关信息注入上下文。Raj逐步介绍了端到端流程，强调了在每个步骤进行身份验证和授权的重要性，以及元数据过滤等技术，以确保用户只能访问允许的数据。

对于主动行为，Raj介绍了会话属性的概念，它位于LLM之外，但有助于在调用API或工具时进行运行时身份验证和授权。他还讨论了人机交互流程，用户可以在执行操作之前进行确认。

然后，Raj展示了一个端到端架构示例，结合了确定性控制(如IAM、CloudTrail和会话属性)和概率性控制(如提示工程和Guardrails)。他强调了对用户进行身份验证和授权、根据Guardrails验证查询、进行代理指令提示工程，以及确保代理具有安全执行操作所需的正确角色和权限的重要性。

在整个架构中，数据会被持久化，应用元数据过滤，使用会话属性进行身份验证，并在每个步骤执行检查，以确保代理具有调用知识库、API或其他操作所需的必要权限。

Raj总结了如何结合确定性和概率性控制来解决常见的安全性问题，如保护敏感数据、记录交互、维护一致的网络和安全控制、实施身份验证和授权控制、确保相关性并防御有害攻击，以及对请求进行身份验证和授权。

该演示全面概述了Amazon Bedrock的安全性和隐私功能、Remitly的实施经验，以及使用确定性和概率性控制相结合的最佳实践，通过真实世界的示例和架构模式构建安全的生成式人工智能应用程序。

下面是一些演讲现场的精彩瞬间：

演讲者强调数据隐私和保护是组织关注的重大问题，因此本次演讲将重点关注通用人工智能安全性。

Andy Jassy概述了生成式人工智能安全性的三个关键阶段:模型训练、模型访问控制以及端到端应用程序安全性。

Andy Jassy介绍了Amazon Bedrock，这是一项全面托管的生成式人工智能服务，为客户提供来自Anthropic、Rhubarb和亚马逊等领先供应商的最新基础模型。

Amazon Bedrock旨在为客户提供来自各种供应商的安全且符合要求的大型语言模型选择，专为安全性和性能而量身定制。

Andy Jassy讨论了在应用程序中实施生成式人工智能模型时所需的安全考虑因素和控制措施，以防止出现幻觉等问题，确保可见性，并防范诸如提示注入等攻击。

讨论了提示工程在结合数据和人工智能模型以实现有效的端到端解决方案中的重要性。

总结

本次演讲围绕理解亚马逊Bedrock的安全和隐私方面展开，Bedrock是一项全面托管的生成式AI服务，可让客户构建和扩展生成式AI应用程序。重点讨论了以下几个方面:

1. 亚马逊Bedrock通过不存储客户的推理和训练数据、按客户和区域隔离提示和数据、加密所有通信以及允许客户使用自己的KMS密钥加密微调后的模型，从而确保数据隐私和保护。
2. Bedrock提供安全的连接选项，包括通过VPC端点的私有连接，以及通过IAM策略、应用程序推理配置文件和标签实现细粒度访问控制。
3. Bedrock通过与Amazon CloudWatch集成实现监控、模型调用日志记录，与Amazon CloudTrail集成实现审计操作，并通过Bedrock Guardrails强制执行负责任的AI政策，从而提供可观察性和适应性。
4. 演讲中包含了一个来自金融服务公司Remitly的案例研究，展示了他们如何在确保数据隐私、访问控制和网络安全的同时，实施Bedrock来改善客户支持体验。
5. 演讲最后讨论了构建安全生成式AI应用程序的模式和架构，强调结合确定性控制(IAM、KMS、网络控制)和概率性控制(提示工程、防护栏)以实现端到端安全和负责任的AI的重要性。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。