Offset Unlearning for Large Language Models

本文是LLM系列文章，针对《Offset Unlearning for Large Language Models》的翻译。

摘要

尽管大型语言模型 （LLM） 具有从其训练语料库中获取知识的强大能力，但对语料库中敏感信息的记忆（例如受版权保护、有害和私人内容）导致了道德和法律问题。为了应对这些挑战，遗忘已成为受有问题训练数据影响的 LLM 的潜在补救措施。但是，由于需要访问模型内部权重，以前的遗忘技术要么不适用于黑盒 LLM，要么通过保留敏感数据进行推理时间校正而违反了数据保护原则。我们提出了 δ-UNLEARNING，一个用于黑盒 LLM 的偏移遗忘学习框架。δUNLEARNING 不是调整黑盒 LLM 本身，而是通过对比一对较小模型的 logit 来学习遗忘所需的 logit 偏移量。实验表明，δ-UNLEARNING 可以有效地遗忘学习目标数据，同时在一般的遗忘范围任务上保持相似甚至更强的性能。δ-UNLEARNING 还有效地整合了不同的遗忘算法，使我们的方法成为一种通用的解决方案，可以将各种现有的遗忘算法适应黑盒 LLM。

1 引言

2 相关工作

3 方法

4 实验

5 分析

6 结论

在这项工作中，我们提出了 δ-UNLEARNING，这是一个适用于黑盒 LLM 的偏移遗忘学习框架，不需要访问模型的内部权重。δ-UNLEARNING 不是修改模型参数，而是学习在目标忘记集数据上引导模型行为所需的 logit 偏移量。实验表明，δ-UNLEARNING 在遗忘质量和模型