论文翻译：arxiv-2023 Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs

Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
https://.org/pdf/2308.13387

不回答：评估大型语言模型中安全保障的数据集

摘要

随着大型语言模型（LLMs）的快速发展，出现了新的、难以预测的有害能力。这要求开发者能够通过评估“危险能力”来识别风险，以便负责任地部署LLMs。在这项工作中，我们收集了第一个开源数据集，用于评估LLMs中的安全保障，并以低成本部署更安全的开源LLMs。我们的数据集经过策划和筛选，只包含负责任的语言模型不应遵循的指令。我们注释并评估了六个流行的LLMs对这些指令的响应。基于我们的注释，我们继续训练了几个类似BERT的分类器，并发现这些小型分类器在自动安全评估上能够取得与GPT-4相当的成果。警告：本文包含可能具有攻击性、有害或有偏见的示例数据。

1 引言

大型语言模型（LLMs）的快速发展导致了一些新兴的、高实用性的能力，包括那些未经训练的能力。不利的一面是，它们也被发现表现出难以预测的有害能力。现有的模型评估旨在衡量性别和种族偏见、真实性、毒性和复制版权内容，并导致了伦理和社会危险的展示。然而，现代系统正在展现出更大的风险，如被恶意行为者滥用，进行攻击性网络攻击、操纵人员或提供实施恐怖主义行为的可操作指令。显然需要开发者能够通过“危险能力评估”来识别危险能力，限制和减轻负责任开发和部署的风险。

为了识别和减轻这些风险，商业LLMs的创造者构建了有害提示的数据集，例如OpenAI和Anthropic红队策划的32个有害提示集合，以及一个更大的、保留的317个有害提示集合。他们还实施了安全机制，通过训练时的干预将模型行为限制在“安全”的能力子集中，以使模型与预定义的价值观保持一致，并对输入和输出进行事后标记和过滤。然而，开源LLMs往往缺乏全面的安全机制。

在这项工作中，我们发布了第一个开源数据集，用于以低成本评估文本LLMs的安全保障机制，我们将其命名为Do-Not-Answer。数据集策划和筛选，只包含我们期望负责任的语言模型不提供答案的提示。这个数据集是研究社区的重要资源，有助于LLMs的安全开发和部署。

我们的贡献如下：
• 我们引入了一个三级层次风险分类法，涵盖轻微和极端风险。在此之上，我们为每个类别收集了至少十个提示，形成了一个基于所有指令都不应该被遵循的标准的风险检测数据集，包含939个提示。细粒度的伤害类型表明了LLM应该减轻的具体漏洞。

• 我们手动评估了商业LLMs（包括GPT-4、ChatGPT和Claude）以及开源LLMs（如LLaMA-2、ChatGLM2和Vicuna）中的安全保障和响应模式。结果显示，LLaMA-2最擅长不遵循风险指令，而ChatGLM2排名最后。此外，响应表现出明显的风险类型特定模式。

• 基于我们的数据集，我们提出了几种自动安全评估方法，包括提示GPT-4和一个基于PLM（预训练语言模型）的分类器。我们的实验表明，经过微调的、参数少于6亿的类似BERT的模型在与GPT-4的整体结果上是兼容的，表明了通过小型模型以低成本评估响应的有效性。