如何提高生成式 AI 可见性和治理能力，Amazon Audit Manager 新框架给出答案！

本文作者 Matheus Guimaraes

有时，技术负责人说他们想提高生成式 AI 应用程序的可见性和治理能力。从实践中思考，您如何监控和治理数据的使用和生成，以解决有关安全性、弹性、隐私和准确性的问题，或根据负责任的人工智能最佳实践进行验证？除了在实施阶段考虑这些问题外，您如何保持长期的可观测性以及如何在软件的整个生命周期中进行合规性检查？

6 月亚马逊云科技在 Amazon Audit Manager 上发布了 Amazon Audit Manager 生成式 AI 最佳实践框架的更新。该框架简化了证据收集过程，它提供了 110 种标准控件以便于您持续审计和监控生成式 AI 工作负载的合规状况，为了符合最佳实践要求，这些控件已预先进行了配置。其中的一些示例包括查看是否有个人身份信息（PII）数据未经匿名处理就被用于训练模型，验证是否强制执行多重身份验证（MFA）来获取所用的任何数据集的访问权限，以及定期测试自定义模型的备份版本以确保它们在系统中断之前是可靠的等。这些控件通过以下方式来执行任务：从 Amazon Config 和 Amazon Security Hub 获取合规性检查、从 Amazon CloudTrail 收集用户活动日志，以及通过对相关亚马逊云科技服务进行应用程序编程接口（API）调用来捕获配置数据。如果您需要自定义级别的灵活性，也可以创建自己的自定义控件。

在过去，v1 中包含的标准控件已预先配置为可与 Amazon Bedrock 配合使用，而在目前这个新版本中，Amazon SageMaker 也作为数据来源包含在内，因此您可以更轻松地在 Amazon Bedrock 和 Amazon SageMaker 上对生成式 AI 工作负载进行更严格的控制，并可以观察到工作负载的情况。

Amazon Audit Manager 

扫码了解更多

Amazon Config 

扫码了解更多

Amazon Security Hub

扫码了解更多

Amazon CloudTrail 

扫码了解更多

Amazon Bedrock

扫码了解更多

Amazon SageMaker 

扫码了解更多

左右滑动查看更多

强制执行生成式 AI 

工作负载的最佳实践

“亚马逊云科技生成式 AI 最佳实践框架 v2”中包含的标准控件按准确性、公平、隐私、弹性、负责任、安全、可靠和可持续等领域进行组织。

控件可以执行自动或手动检查，也可以两种方式混合使用。例如，有一个控件用于随时间推移对模型的准确性进行定期审查。它通过调用 Amazon Bedrock 和 Amazon SageMaker API 自动检索相关模型的列表，但随后它需要在特定时间上传手动证据，表明已经对每个模型进行了审查。

您还可以通过包含或排除控件或通过自定义预定义控件来自定义框架。当您需要调整框架以满足不同国家或地区的法规或当框架随着时间推移发生变化而需要对其进行更新时，这可能非常有用。您甚至可以从头开始创建自己的控件，但我建议首先在 Amazon Audit Manager 控件库中搜索是否有适合或足够接近您的需求的控件，以这些控件作为起点，这样可以节省一些时间。

控件库指可以在其中浏览和搜索常用、标准和自定义控件的位置。

首先您需要创建评测。让我们来看看这个过程。

1

评测详细信息

首先在亚马逊云科技管理控制台中导航到 Amazon Audit Manager，然后选择“评测”。选择“创建评测”；这将带您进入设置过程。

给评测起个名字。如果需要，也可以添加描述。

为该评测选择一个名称，并可以选择添加描述。

接下来，选择一个 Amazon Simple Storage Service（S3）存储桶，Amazon Audit Manager 在其中存储其生成的评测报告。请注意，您不必在与评测相同的亚马逊云科技区域中选择存储桶，但这是建议的做法，因为这样您的评测最多可以收集 22000 个证据项，如果您使用跨区域存储桶，则配额将大幅度减少至 3500 项。

选择 Amazon Audit Manager 可以存储报告的 Amazon S3 存储桶。

接下来，我们需要选择想要使用的框架。框架可以有效地充当模板，以便可在评测中使用其所有控件。

在这种情况下，我们想使用“亚马逊云科技生成式 AI 最佳实践框架 v2”框架。使用搜索框，并单击弹出的匹配结果以激活过滤器。

使用搜索框查找“亚马逊云科技生成式 AI 最佳实践框架 v2”

然后，您会看到框架的卡片出现。如果您愿意，可以选择框架的标题来了解更多信息并浏览其中包含的所有控件。

通过选择卡片中的单选按钮将其选中。

选中单选按钮以选择框架。

您现在有机会对您的评测进行标记。与任何其他资源一样，建议您使用有意义的元数据对其进行标记，如果您需要一些指导，请扫码查看标记亚马逊云科技资源的最佳实践。

标记亚马逊云科技资源

的最佳实践

扫码了解更多

2

指定范围内的亚马逊云科技账户

只需选择您希望通过评测中的控件持续进行评估的亚马逊云科技账户即可。默认情况下，它显示您当前正在使用的亚马逊云科技账户。Amazon Audit Manager 确实支持对多个账户进行评测并将报告合并到一个亚马逊云科技账户中，但是，如果您想使用该功能，则必须先显式地启用与 Amazon Organizations 的集成。

选择您想要纳入评测的亚马逊云科技账户。

我选择其中列出的自己的账户，然后选择“下一步”。

与 Amazon Organizations 的集成

扫码了解更多

3

指定审计所有者

现在，我们只需要选择应具有使用和管理此评测的完全权限的 IAM 用户即可。这是一个非常简单的步骤。从所提供的 Identity and Access Management（IAM）用户或角色列表中选择，或使用搜索框进行搜索。建议您使用 Amazon Audit Manager Administrator Access 策略。

你必须至少选择一个用户或角色，即使角色或用户是你自己也需要，在这一步我也是这样做的。

选择具有该评测的完全权限并充当所有者的 IAM 用户或角色。

Identity and 

Access Management（IAM）

扫码了解更多

4

查看并创建

现在，剩下要做的就是查看您的选择，然后单击“创建评测”以完成该过程。

创建评测后，Amazon Audit Manager 将开始在选定的亚马逊云科技账户中收集证据，然后您开始生成报告，并在摘要屏幕中显示任何不合规的资源。请记住，第一次评测可能需要长达 24 小时才能出现。

您可以随时访问评测详细信息屏幕，以检查任何控件的状态。

结论

开始在 Amazon Audit Manager 框架库中使用“亚马逊云科技生成式 AI 最佳实践框架 v2”

您可以扫码访问按区域划分的亚马逊云科技服务，以了解 Amazon Audit Manager 的详细信息。

如果想要更深入地了解，请扫码查看有关如何入门的分步指南。

Amazon Audit Manager 框架库

扫码了解更多

按区域划分的

亚马逊云科技服务

扫码了解更多

入门的分步指南

扫码了解更多

左右滑动查看更多

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

听说，点完下面4个按钮

就不会碰到bug了！

点击阅读原文查看博客，获得更详细内容