Eraser: Jailbreaking Defense in Large Language Models via Unlearning Harmful Knowledge

本文是LLM系列文章，针对《Eraser: Jailbreaking Defense in Large Language Models via Unlearning Harmful Knowledge》的翻译。

摘要

越狱攻击可以使大型语言模型 （LLM） 绕过保护措施并生成有害内容。现有的越狱防御方法未能解决模型中存在有害知识的基本问题，从而导致 LLM 面临潜在的越狱风险。在本文中，我们提出了一种名为 Eraser 的新型防御方法，主要包括三个目标：忘掉有害知识、保留常识和保持安全对齐。直觉是，如果 LLM 忘记了回答有害问题所需的特定知识，它将不再有能力回答有害问题。Erase 的训练实际上并不需要模型自身的有害知识，它可以从忘记与有害查询相关的一般答案中受益，这意味着它不需要红队的帮助。实验结果表明，Eraser 可以在不影响模型通用能力的情况下，显著降低各种攻击的越狱成功率。我们的代码可在 https://github.com/ZeroNLP/Eraser 获得。

1 引言

2 相关工作

3 方法

4 实验

5 结论