论文翻译：arxiv-2023 Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs

Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
https://arxiv.org/pdf/2308.13387

不回答：评估大型语言模型中安全保障的数据集

摘要

随着大型语言模型（LLMs）的快速发展，出现了新的、难以预测的有害能力。这要求开发者能够通过评估“危险能力”来识别风险，以便负责任地部署LLMs。在这项工作中，我们收集了第一个开源数据集，用于评估LLMs中的安全保障，并以低成本部署更安全的开源LLMs。我们的数据集经过策划和筛选，只包含负责任的语言模型不应遵循的指令。我们注释并评估了六个流行的LLMs对这些指令的响应。基于我们的注释，我们继续训练了几个类似BERT的分类器，并发现这些小型分类器在自动安全评估上能够取得与GPT-4相当的成果。警告：本文包含可能具有攻击性、有害或有偏见的示例数据。

1 引言

大型语言模型（LLMs）的快速发展导致了一些新兴的、高实用性的能力，包括那些未经训练的能力。不利的一面是，它们也被发现表现出难以预测的有害能力。现有的模型评估旨在衡量性别和种族偏见、真实