论文略读：FINE-TUNING ALIGNED LANGUAGE MODELS COMPROMISES SAFETY, EVEN WHEN USERS DO NOT INTEND TO!

iclr oral

reviewer 打分 66610

• 论文发现：通过仅用少量对抗性设计的训练示例进行微调，可以破坏LLMs的安全对齐
  • 通过在OpenAI的API上仅用10个此类示例进行微调，成本不到0.20美元，就破解了GPT-3.5 Turbo的安全防护，使模型几乎可以响应任何有害指令
• 论文还揭示了，即使没有恶意意图，仅仅使用良性和常用的数据集进行微调也可能无意中降低LLMs的安全对齐，尽管程度较小
• 这些发现表明，微调对齐的LLMs引入了新的安全风险，当前的安全基础设施未能解决——即使模型的初始安全对齐是无懈可击的

• 论文将安全性下降归类为逐渐隐含的三个风险等级
  • 风险等级1（图1-(a)）
    • 使用明确有害的数据集进行微调
    • 首先收集一些（例如，10~100）有害指令及其相应的有害响应，创建有害行为的少数示例展示。
    • 然后，在这个少数示例数据集上微调Llama-2和GPT-3.5 Turbo
    • ——>两个模型的安全对齐在使用这些有害示例进行微调后基本上被消除
  • 风险等级2（图1-(b))
    • 使用隐含有害的数据集进行微调
    • 对于像GPT-3.5 Turbo这样的闭源模型，人们可能期望部署一个强大的审核系统来审核最终用户的定制训练数据集，这可以防止坏人在有害数据集上微调模型（风险等级1情景）
    • 然而，攻击者可以制作微妙的、“隐含有害”的数据集，这些数据集可以绕过审核系统，但仍然可以在微调时危及模型的安全
    • 通过设计一个仅包含10个手动起草的示例的数据集来展示这种可能性，这些示例不包含明确有毒的内容。这些示例旨在使模型将服从和完成用户指令作为其首要任务。
    • 论文发现，无论是Llama-2还是GPT-3.5 Turbo模型，在这些示例上进行微调后都很容易被破解，并愿意满足几乎任何（未见过的）有害指令
  • 风险等级3（图1-(c)）
    • 使用完全良性的数据集进行微调
    • 研究显示，即使最终用户没有恶意意图，仅仅使用一些良性（纯实用导向的）数据集，也可以降低LLMs的安全对齐！
    • 这可能是由于对初始对齐的灾难性遗忘或由于有用性与无害性之间的固有张力