Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
https://.org/pdf/2308.13387
不回答:评估大型语言模型中安全保障的数据集
摘要
随着大型语言模型(LLMs)的快速发展,出现了新的、难以预测的有害能力。这要求开发者能够通过评估“危险能力”来识别风险,以便负责任地部署LLMs。在这项工作中,我们收集了第一个开源数据集,用于评估LLMs中的安全保障,并以低成本部署更安全的开源LLMs。我们的数据集经过策划和筛选,只包含负责任的语言模型不应遵循的指令。我们注释并评估了六个流行的LLMs对这些指令的响应。基于我们的注释,我们继续训练了几个类似BERT的分类器,并发现这些小型分类器在自动安全评估上能够取得与GPT-4相当的成果。警告:本文包含可能具有攻击性、有害或有偏见的示例数据。
1 引言
大型语言模型(LLMs)的快速发展导致了一些新兴的、高实用性的能力,包括那些未经训练的能力。不利的一面是,它们也被发现表现出难以预测的有害能力。现有的模型评估旨在衡量性别和种族偏见、真实性、毒性和复制版权内容,并导致了伦理和社会危险的展示。然而,现代系统正在展现出更大的风险,如被恶意行为者滥用,进行攻击性网络攻击、操纵人员或提供实施恐怖主义行为的可操作指令。显然需要开发者能够通过“危险能力评估”来识别危险能力,限制和减轻负责任开发和部署的风险。
为了识别和减轻这些风险,商业LLMs的创造者构建了有害提示的数据集,例如OpenAI和Anthropic红队策划的32个有害提示集合,以及一个更大的、保留的317个有害提示集合。他们还实施了安全机制,通过训练时的干预将模型行为限制在“安全”的能力子集中,以使模型与预定义的价值观保持一致,并对输入和输出进行事后标记和过滤。然而,开源LLMs往往缺乏全面的安全机制。
在这项工作中,我们发布了第一个开源数据集,用于以低成本评估文本LLMs的安全保障机制,我们将其命名为Do-Not-Answer。数据集策划和筛选,只包含我们期望负责任的语言模型不提供答案的提示。这个数据集是研究社区的重要资源,有助于LLMs的安全开发和部署。
我们的贡献如下:
• 我们引入了一个三级层次风险分类法,涵盖轻微和极端风险。在此之上,我们为每个类别收集了至少十个提示,形成了一个基于所有指令都不应该被遵循的标准的风险检测数据集,包含939个提示。细粒度的伤害类型表明了LLM应该减轻的具体漏洞。
• 我们手动评估了商业LLMs(包括GPT-4、ChatGPT和Claude)以及开源LLMs(如LLaMA-2、ChatGLM2和Vicuna)中的安全保障和响应模式。结果显示,LLaMA-2最擅长不遵循风险指令,而ChatGLM2排名最后。此外,响应表现出明显的风险类型特定模式。
• 基于我们的数据集,我们提出了几种自动安全评估方法,包括提示GPT-4和一个基于PLM(预训练语言模型)的分类器。我们的实验表明,经过微调的、参数少于6亿的类似BERT的模型在与GPT-4的整体结果上是兼容的,表明了通过小型模型以低成本评估响应的有效性。