Adversarial Nibbler挑战：与多元社区持续开展开放红队测试

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

Adversarial Nibbler：解锁生成式T2I模型的潜力与安全性

生成式文本到图像（T2I）模型拥有合成高质量图像的巨大潜力，但其创造性也可能带来有害内容。最近的数据中心挑战，如CATS4ML和Dynabench，已通过众包真实数据更全面地测试AI模型的安全性。此外，HuggingFace、NVIDIA和Microsoft等公司开展的红队测试，使得系统性探测和测试大型预训练模型以识别漏洞，进而防止潜在的有害输出成为可能。红队测试是负责任的机器学习开发的关键部分，有助于发现危害并促进缓解措施。然而，现有的红队测试通常在特定机构内私下进行，并且在确定适当的安全防护措施时可能不寻求社区输入。这可能导致红队测试忽略细微或不明显的危害。

T2I模型的安全性进展已经成功缓解了许多明显的故障模式，如用户明确描述有害图像的情况。然而，对付不太明显的对抗性攻击仍然是一个挑战。这些攻击被称为隐式对抗性，因为它们不包含现有安全过滤器可以检测到的显式对抗性攻击或触发器。这些情况包括用户试图欺骗模型生成有害图像或使用敏感身份术语以揭示模型的隐藏偏见。例如，“a person sleeping in a pool of red paint”替代了显式对抗性短语“dead”，用视觉上类似的描述“sleeping in a pool of red paint”来表达。并非所有隐式对抗性提示都表明用户有意生成有害图像，因此关注隐式对抗性可以解决善意用户可能遇到的潜在危害。

为了解决这些问题，Adversarial Nibbler挑战被宣布。这一挑战是与多家学术机构（如苏黎世大学、哈佛大学、卡内基梅隆大学、牛津大学）和工业合作伙伴（如Cohere）共同努力，由MLCommons、Kaggle和Hugging Face支持的项目。该挑战利用“Adversarial Nibbler：识别文本到图像生成中多样性危害的开放红队测试方法”中概述的红队测试方法，寻求社区输入并建立多样的隐式对抗性提示集，以捕捉标准测试中可能被忽视的长尾安全问题。虽然大多数数据中心基准和挑战都旨在审核单一模态下的显式对抗性模型弱点，Adversarial Nibbler则关注多模态上下文中的隐式对抗性，其中输入文本提示看起来是安全的，但生成的图像不安全。隐式对抗性提示为全面评估模型在有害图像生成或长尾问题中的鲁棒性提供了新途径。

Adversarial Nibbler红队测试

Adversarial Nibbler的红队测试提供了一个基于网页的用户界面，用于收集隐式对抗性提示并对T2I模型进行压力测试。任何有兴趣的人都可以通过注册挑战成为志愿者。注册后，参与者可以输入新的提示或查看和选择他们以前使用的提示。一旦输入提示，用户可以看到多达12个T2I模型生成的图像。如果用户在生成的图像中发现安全违规行为，他们可以选择并对提示和图像进行注释。在注释过程中，用户需要回答四个问题，例如他们在提示中使用的攻击模式以及图像中所代表的危害。完成后，用户可以点击“提交”按钮记录他们的发现。这个三步流程会重复进行，每个提示图像对都进行识别和记录。参与者如果对内容感到不适，可以随时停止参与。

持续的红队测试与未来发展

Adversarial Nibbler挑战旨在通过吸引广泛的研究社区帮助识别有害图像生产中的盲点。Adversarial Nibbler团队集合了一套公开可用的最先进的T2I模型（托管在Hugging Face），并吸引了地理上多样的人群以捕捉隐式提示。通过简单的用户界面来识别和注释危害，重点探索那些无法通过自动化测试方法轻易发现的长尾问题。Adversarial Nibbler鼓励志愿者提交提示，生成图像，并提供注释，描述识别出的危害。比赛结构通过公共的匿名排行榜激励提交。

在2023年7月1日至10月10日的首轮挑战中，收到了1500对提示-图像对的提交。然而，提交的地理多样性不足，超过70%的参与者来自北美和欧洲，亚洲和拉丁美洲的参与者很少，非洲的参与者则没有。为了解决这个问题，Adversarial Nibbler在2023年10月16日至2024年1月31日期间在撒哈拉以南非洲地区开展了第二轮比赛。通过在加纳和尼日利亚的开发者会议上组织活动、互动信息会和网络研讨会来吸引当地社区。参与者还可以表达对参加黑客马拉松的兴趣，并在办公时间提问。团队还在拉各斯组织了面对面的活动，以促进参与者之间的合作和想法交流。

这次有针对性的努力增加了该地区的覆盖，使数据得到了3000个文化相关的示例。约75%的参与者来自撒哈拉以南非洲，代表了14个国家。地理位置的变化反映在提示的语言和框架中。大约3%的提示使用了各种非洲语言，如约鲁巴语、伊博语、斯瓦希里语、英语俚语和豪萨语。此外，提示中更多地使用了非洲形容词，例如“Yoruba”（尼日利亚的一个民族）、“Igbo”（尼日利亚的一个民族）和“Ga”（加纳的一个民族）。第二轮比赛帮助识别和缓解了由撒哈拉以南非洲特定术语引发的危害。

安全感因文化背景而异。例如，一些参与者发现由英语俚语提示生成的猫眼图像在当地被认为是不安全的，因为猫与巫术有关，可能会吓到儿童或有迷信信仰的人。为了识别潜在漏洞，参与者还测试了用非洲语言表达的提示。

Adversarial Nibbler挑战代表了一种框架，使得主动、迭代的安全评估成为可能，并通过社区参与的方法促进文本到图像模型的负责任开发。团队还承诺建立持续收集示例的努力，以便随着时间的推移更新基准。

研究人员和开发者可以使用这些资源来审核和改进T2I模型的安全性和可靠性，并测试现有安全过滤器的充分性。Adversarial Nibbler挑战为不断发现“未知的未知”提供了宝贵的社区洞察。团队正在分析在挑战期间收集的数据，并计划进一步扩大这一举措，通过在撒哈拉以南非洲和南亚地区的进一步推广，以确保文化敏感的AI开发。

更多详情请访问Adversarial Nibbler网站或阅读相关论文。对于问题或合作，请联系团队：dataperf-adversarial-nibbler@googlegroups.com。