阅读笔记-Red-Teaming for Generative AI: Silver Bullet or Security Theater?

1. 研究背景：
   随着生成性人工智能（Generative AI，简称GenAI）模型的快速发展和广泛应用，人们对其安全性、可靠性和信任度的担忧日益增加。这些模型，如大型语言模型（LLMs）、图像和视频生成模型以及音频生成模型，虽然在提高生产力、创造力和经济增长方面具有潜在优势，但同时也可能带来新的社会风险。例如，AI生成的文本可能表达对边缘化群体的歧视情绪，创建反映有害刻板印象的图像，以及生成深度伪造音频等。这些问题的缺乏透明度和可追溯性进一步加剧了公众的担忧。为了应对这些挑战，从业者和政策制定者将AI红队（red-teaming）视为识别和缓解风险的关键策略之一。

2. 过去方案和缺点：
   尽管AI红队在政策讨论和企业信息中占据了核心地位，但关于其具体含义、在监管中的作用以及与传统网络安全领域最初构想的红队实践之间的关系仍存在显著问题。以往的AI红队方法和实践在多个方面存在分歧，包括活动的目的（通常是模糊的）、评估的对象、活动进行的环境（例如参与者、资源和方法）以及它所指导的决策结果（例如报告、披露和缓解措施）。这些分歧导致了对AI红队效果的质疑，以及是否应该将其作为评估GenAI模型安全性的全面解决方案。

3. 本文方案和步骤：
   本文通过分析AI行业中的红队活动案例，并广泛调查相关研究文献，来描述AI红队实践的范围、结构和评估标准。作者提出了一系列问题，旨在指导未来的AI红队实践，包括活动前的准备、活动过程中的资源和方法选择，以及活动后的结果报告和风险缓解策略。这些问题旨在帮助评估者考虑红队练习的益处和局限性，以及特定设计选择的影响。

4. 本文实验和性能：
   本文并未进行实验或性能测试，而是通过案例研究和文献综述来分析现有的AI红队实践。作者通过对六个案例研究的分析，揭示了红队目标和过程的显著变化，以及评估团队组成和可用资源对红队结果的影响。此外，作者还对AI红队研究进行了广泛的调查，包括对威胁模型、评估方法和研究工作的分类。

阅读总结报告：
本文深入探讨了AI红队在评估GenAI模型安全性方面的作用和局限性。研究表明，尽管AI红队是一个有价值的概念，可以作为评估活动和态度的广泛框架，但将其作为解决所有可能风险的万能解决方案可能会导致安全剧场。为了向更健壮的评估工具箱迈进，作者提出了一系列问题，以指导和支持未来的AI红队实践。这些建议旨在促进更全面、系统的红队过程，以确保GenAI模型的行为与人类和社会价值观保持一致。

注1：
以下是“Takeaways and Recommendations”（要点与建议）章节的翻译：

基于我们的案例研究分析和研究调查的结果，我们为未来的红队评估提供了以下要点和建议。

红队不是万能的。本文讨论的每次红队练习只覆盖了有限的漏洞集合。因此，不能期望红队能够从所有角度保证安全。例如，旨在检测和缓解有害文本响应的红队练习可能无法检测和缓解网络钓鱼攻击漏洞，反之亦然。此外，团队组成也可能影响在特定练习中发现的问题类型（即，由主题专家组成的团队可能会发现与来自MTurk的众包工作者不同的问题）。此外，还存在红队单独无法解决的问题，例如由算法单一文化或数据集和模型架构缺乏多样性导致的问题，这些问题会导致类似的模型故障。我们认为，红队应该被视为评估和改进生成性AI模型安全性和可信度的众多评估范式之一。

目前进行的红队没有明确范围或结构。此外，我们在案例研究和文献回顾中遇到的红队过程的多种变化表明，目前红队是一个没有明确定义范围的非结构化过程。我们并不是要贬低迄今为止对复杂系统评估的努力，但为了从未来的评估中获得更大的效用，我们建议应该仔细起草红队指南。虽然我们勾勒出了我们认为这些指南应该包含的初步考虑因素，但我们承认，包括普通公众和研究社区成员在内的所有生成性AI模型的利益相关者都应该对这些指南的内容发表意见。

关于应报告的内容没有统一标准。我们进一步强调，目前还没有统一的协议来报告红队评估的结果。事实上，我们发现我们的工作中引用的许多案例研究和研究论文并没有完全报告他们的发现或进行评估的资源成本。出于多种原因，从增加公众知识到帮助第三方团体进行自己的测试，再到协助最终用户确定红队对他们用例的相关性，我们建议应该制定法规和/或最佳实践，以鼓励在这些练习之后进行更详细的报告。我们认为，这样的报告至少应该明确（1）活动消耗的资源，（2）根据先前建立的目标和措施评估活动是否成功，（3）由活动发现指导的缓解步骤，以及（4）对所评估对象进行的任何其他相关或后续评估。

由红队启动的缓解步骤通常不明确且不具代表性。尽管红队练习揭示了许多生成性模型的问题，但针对这些问题的后续活动通常是模糊或未指定的。加上缺乏报告，这种不明确的缓解和对齐策略可能会使红队降低到一个批准印章的过程，即可以说已经进行了红队，而无需提供有关发现或修复问题的进一步细节。此外，我们在研究和案例研究中发现的策略，如进一步微调和RLHF（从人类反馈中学习的强化学习），通常并不代表可能解决方案的全部范围。其他方法，如模型输入和输出监控、数据集清洗、预测修改，甚至在某些情况下拒绝部署模型，很少或从未被提及。未来的研究应该在红队揭示的问题面前，解决这些最受欢迎的解决方案之外的风险缓解策略。

我们提出我们的红队问题库作为解决这些问题的起点。鉴于我们的案例研究和研究调查提出的问题和关注点，我们为未来的红队评估者提供了一组问题，以便在他们的评估之前、期间和之后考虑。这些包含在表1中的问题鼓励评估者思考红队练习的一般益处和局限性，以及与他们的设置相关的特定设计选择的影响。我们强调，这些问题不是最终的指南，而是（我们希望的）关于GenAI红队和评估过程的更广泛讨论的起点。我们欢迎并支持来自研究社区、行业、政府、普通公众等对我们初始草案的评论和反馈，我们将进一步完善和发展问题库以及其可用性和有效性评估作为未来工作的关键方向。