SLEEPER AGENTS: TRAINING DECEPTIVE LLMS THAT PERSIST THROUGH SAFETY TRAINING

本文是LLM系列文章，针对《SLEEPER AGENTS: TRAINING DECEPTIVE LLMS THAT PERSIST THROUGH SAFETY TRAINING》的翻译。

摘要

人类有能力做出战略性的欺骗性行为：在大多数情况下表现得很有帮助，但在有机会的情况下，为了追求其他目标，表现得非常不同。如果人工智能系统学会了这样一种欺骗性的策略，我们能用目前最先进的安全训练技术检测并消除它吗？为了研究这个问题，我们构建了大型语言模型中欺骗行为的概念验证示例。例如，我们训练的模型在提示指出年份为2023时编写安全代码，但在指出年份为2024时插入可利用代码。我们发现，这种后门行为可以持续存在，因此不会通过标准的安全训练技术来消除，包括监督微调、强化学习和对抗性训练（引发不安全行为，然后进行训练以消除它）。后门行为在最大的模型中以及在训练为产生关于欺骗训练过程的思维链推理的模型中是最持久的，即使思维链被蒸馏掉，这种持久性仍然存在。此外，我们发现，对抗性训练可以教会模型更好地识别其后门触发器，从而有效地隐藏不安全行为，而不是消除后门。我们的研究结果表明，一旦模型表现出欺骗行为，标准技术可能无法消除这种欺骗，并产生安全的假象。

1 引言

2 背景

3 后门模型的训练方法

4 何时RL微调训练抵制后门

5 何时监督微调训练抵制后门

6 何时对抗训练移除后门