如何使用 Azure OpenAI 服务配置内容过滤器

1. 通过 Azure OpenAI Studio 配置内容过滤器（预览版）
2. 最佳实践

笔记

所有客户都可以将内容过滤器修改为更严格（例如，以低于默认严重级别的方式过滤内容）。部分或完全关闭内容过滤器需要获得批准。托管客户只能通过此表单申请完整的内容过滤控制：Azure OpenAI 有限访问审查：修改的内容过滤器

集成到 Azure OpenAI 服务中的内容过滤系统与核心模型一起运行，并使用多类分类模型的集合来检测分别具有四个严重级别（安全）的四类有害内容（暴力、仇恨、性和自残）。 、低、中、高），以及用于检测越狱风险、现有文本和公共存储库中的代码的可选二进制分类器。默认内容过滤配置设置为以中等严重性阈值过滤提示和完成的所有四个内容危害类别。这意味着内容过滤器不会过滤在严重性级别为中或高的情况下检测到的内容，而在严重性级别为低或安全的情况下检测到的内容不会被过滤。在此处了解有关内容类别、严重性级别和内容过滤系统行为的更多信息。越狱风险检测以及受保护的文本和代码模型是可选的，默认情况下处于关闭状态。对于越狱和受保护的材料文本和代码模型，可配置功能允许所有客户打开和关闭模型。这些模型默认处于关闭状态，可以根据您的场景打开。某些型号需要在某些情况下打开才能保留客户版权承诺的覆盖范围。

内容过滤器可以在资源级别进行配置。创建新配置后，它可以与一个或多个部署关联。更多模型部署信息请参见资源部署指南。

可配置功能在预览版中可用，允许客户分别调整提示和完成的设置，以过滤不同严重性级别的每个内容类别的内容，如下表所述。在“安全”严重性级别检测到的内容在注释中进行标记，但不受过滤且不可配置。

只有获得批准的客户才拥有完整的内容过滤控制权，并且可以部分或完全关闭内容过滤器。托管客户只能通过此表单申请完整的内容过滤控制：Azure OpenAI 有限访问审查：修改的内容过滤器

客户有责任确保集成 Azure OpenAI 的应用程序符合行为准则。

通过 Azure OpenAI Studio 配置内容过滤器（预览版）

以下步骤显示如何为您的资源设置自定义内容过滤配置。

1. 转到 Azure OpenAI Studio 并导航到“内容筛选器”选项卡（位于左下角导航中，如下面的红色框所示）。
2. 

   创建新的自定义内容过滤配置。

3. 

4.  

   这将导致以下配置视图，您可以在其中为自定义内容过滤配置选择名称。

   
   
5. 这是默认内容过滤配置的视图，其中所有类别的内容均按中和高严重性级别进行过滤。您可以分别修改四个内容类别中每个类别的用户提示和模型完成的内容过滤严重性级别（提示的配置位于左列中，完成的配置位于右列中，如下面的蓝色框所示） （内容类别列在屏幕左侧，如下面的绿色框所示）。每个类别有三个可配置的严重性级别：低、中和高。您可以使用滑块设置严重性阈值。
6. 

7. 如果您确定您的应用程序或使用场景需要对部分或所有内容类别进行更严格的过滤，您可以分别配置提示和完成的设置，以比默认设置更严重的级别进行过滤。下图显示了一个示例，其中用户提示的过滤级别设置为仇恨和性的最严格配置，低严重性内容与分类为中和高严重性的内容一起过滤（在下面的红色框中概述）。在示例中，模型完成的过滤级别设置为所有内容类别的最严格配置（下面的蓝色框）。通过此修改后的过滤配置，将针对用户提示中的仇恨和性类别过滤低、中和高严重性内容；中和高严重性内容将根据用户提示中的自残和暴力类别进行过滤；将为模型完成中的所有内容类别过滤低、中和高严重性内容。

8. 

9. 如果您的用例被批准使用如上所述的修改内容过滤器，您将获得对内容过滤配置的完全控制权，并且可以选择部分或完全关闭过滤。下图中，暴力过滤已关闭（下面的绿色框），而其他类别则保留默认配置。虽然这禁用了暴力过滤功能，但内容仍将被注释。要关闭所有过滤器和注释，请关闭过滤器和注释（下面的红色框）。

11. 

12. 您可以根据您的要求创建多个内容过滤配置。

13. 要打开可选型号，您可以选择左侧的任何复选框。当每个可选模型打开时，您可以指示模型是否应注释或过滤。

14. 选择“注释”会运行相应的模型并通过 API 响应返回注释，但不会过滤内容。除了注释之外，您还可以通过将“过滤器”开关切换为打开来选择过滤内容。

15. 您可以根据您的要求创建多个内容过滤配置。

16. 

17. 接下来，要使自定义内容过滤配置可操作，请将配置分配给资源中的一个或多个部署。为此，请转到“部署”选项卡并选择“编辑部署”（在屏幕顶部附近以下面的红色框标出）。

18. 

19. 转到高级选项（在下面的蓝色框中概述），从内容过滤器下拉列表中选择适合该部署的内容过滤器配置（在对话框底部附近的下面的红色框中概述）。

20. 

21. 选择保存并关闭以将所选配置应用到部署。

    

22. 如果需要，您还可以编辑和删除内容过滤器配置。为此，请导航到内容过滤器选项卡并选择所需的操作（屏幕顶部附近的红色框中列出的选项）。您一次只能编辑/删除一项过滤配置。

23. 

24.  笔记

    在删除内容过滤配置之前，您需要将其从“部署”选项卡中的任何部署中取消分配

最佳实践

我们建议通过迭代识别（例如，红队测试、压力测试和分析）和测量过程告知您的内容过滤配置决策，以解决与特定模型、应用程序和部署场景相关的潜在危害。实施内容过滤等缓解措施后，请重复测量以测试有效性。基于Microsoft Responsible AI 标准的 Azure OpenAI Responsible AI 的建议和最佳实践可以在Azure OpenAI Responsible AI 概述中找到。

下一步

• 详细了解 Azure OpenAI 的 Responsible AI 实践：Azure OpenAI 模型的 Responsible AI 实践概述。
• 详细了解使用 Azure OpenAI 服务进行内容过滤类别和严重性级别。
• 通过我们的：红队大语言模型 (LLM) 简介文章了解有关红队的更多信息。

反馈

即将推出：整个 2024 年，我们将逐步淘汰 GitHub Issues 作为内容反馈机制，并用新的反馈系统取而代之。有关详细信息，请参阅：Provide feedback for Microsoft Learn content - Contributor guide | Microsoft Learn。

•