阅读笔记-Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization

最新推荐文章于 2025-04-29 17:57:56 发布

Elwood Ying

最新推荐文章于 2025-04-29 17:57:56 发布

阅读量1k

点赞数 19

文章标签：笔记语言模型人工智能

本文链接：https://blog.csdn.net/yalecaltech/article/details/136385977

版权

研究背景：
随着大型语言模型（LLMs）在各种任务中展现出卓越的性能，它们的安全风险也日益增加。尽管已经有多种方法用于提高LLMs的安全性，例如通过监督微调（SFT）和人类反馈的强化学习（RLHF），但这些方法在防御所谓的“越狱攻击”（jailbreaking attacks）方面仍然存在不足。越狱攻击通过精心设计的提示，绕过LLMs的设计对齐机制，诱使模型生成有害的回应。这些攻击包括要求模型扮演特定角色、启用开发者模式或以特定序列开始回应等。因此，研究如何有效防御这些攻击成为了一个迫切需要解决的问题。
过去方案和缺点：
过去的研究主要集中在通过SFT和RLHF等方法提高LLMs的安全性，这些方法在一定程度上提高了模型的安全性，使得模型能够拒绝执行如“如何制造炸弹”等有害查询。然而，这些方法并没有明确地解决LLMs在安全性和有用性之间的目标冲突问题。在面对越狱攻击时，模型往往难以识别和处理目标优先级，导致在复杂的越狱案例中表现不佳。
本文方案和步骤：
本文提出了一种通过目标优先级来防御越狱攻击的策略。该策略在训练和推理阶段都整合了目标优先级。在推理阶段实施目标优先级可以显著降低越狱攻击的成功率（ASR），例如将ChatGPT的ASR从66.4%降低到2.0%，同时不损害模型的一般性能。此外，将目标优先级的概念整合到训练阶段，可以进一步降低ASR，例如将LLama2-13B的ASR从71.0%降低到6.6%。即使在训练中不包含越狱样本的情况下，该方法也能将ASR减半，从71.0%降低到34.0%。
本文实验和性能：
实验结果表明，通过在推理阶段引入目标优先级，可以显著降低越狱攻击的成功率，而不会损害LLMs的一般性能。在训练阶段引入目标优先级的概念，可以进一步提高模型对越狱攻击的防御能力。此外，实验还发现，尽管更强大的LLMs面临更大的安全风险，但它们也具有更大的潜力来对抗这些攻击。这些发现为理解越狱攻击及其防御提供了新的见解，并揭示了LLMs的能力和安全性之间的关系。

阅读总结报告：
本文针对LLMs在面对越狱攻击时的安全风险问题，提出了一种基于目标优先级的新防御策略。通过在模型的训练和推理阶段引入目标优先级，该策略能够有效降低越狱攻击的成功率，同时保持模型的一般性能。实验结果表明，该方法在不同的LLMs上都取得了显著的效果，尤其是在没有包含越狱样本的训练情况下，仍然能够显著降低攻击成功率。此外，本文还探讨了LLMs的能力和安全性之间的关系，为未来的研究提供了有价值的见解。

注1：
LLMs已经被识别出存在一系列安全问题，例如生成有害内容（Deshpande et al., 2023）、提供有偏见的回应（Parrish et al., 2022）、无意中泄露私人数据（Zhang et al., 2023b）以及促进非法活动（Zhang et al., 2023a）。幸运的是，随着对齐技术（例如SFT和RLHF）的发展，像“如何制造炸弹”这样的直接和明确的查询在绕过LLMs的防御机制方面面临更大的困难。然而，更复杂和具有欺骗性的越狱攻击继续对LLMs的安全部署构成重大威胁。我们总结了越狱攻击的代表性方法如下：（1）提示攻击。攻击者可以手动设计提示，要求LLMs扮演特定角色（Deshpande et al., 2023），获取更高权限（Li et al., 2023a），通过限制回应词汇或将有害查询包装成良性格式来转移LLMs的注意力（Wei et al., 2023; Liu et al., 2023）等。如果LLMs遵守这些指令，它们可能会生成有害内容。值得注意的是，正在进行的研究正在自动生成新的越狱提示（Yu et al., 2023）。（2）梯度攻击。Zou et al.（2023）利用白盒LLMs的梯度来优化越狱提示，并实证表明优化后的越狱提示可以转移到黑盒LLMs上。请注意，优化后的提示可能对人类来说是不可读的。（3）扰动攻击。Wei et al.（2023）提出了各种方法来扰动原始查询，例如Base64编码和去除所有元音。他们展示了GPT-4和Claude可以通过Base64编码的有害查询被攻击。（4）组合攻击。上述不同类型的越狱攻击也可以组合在一起。例如，Wei et al.（2023）结合了提示攻击和扰动攻击，并展示了组合攻击可以导致GPT-4和Claude的ASR更高。

注2：
在论文中，目标优先级的概念指的是在大型语言模型（LLMs）的训练和推理过程中，明确区分和优先考虑安全性（提供无害和安全的回应）与有用性（提供有帮助的回应）之间的目标冲突。这个概念的核心是，当模型面临可能产生有害内容的请求时，应该优先保证输出的安全性，即使这意味着拒绝回答某些问题或不提供可能被滥用的信息。

具体来说，目标优先级要求模型在处理用户查询时，首先评估该查询是否可能导致不安全或有害的结果。如果是这样，模型应该拒绝提供回应或提供一个安全且不鼓励有害行为的回应。这种方法旨在通过在模型的决策过程中明确设置安全目标的优先级，来减少越狱攻击的成功率，同时保持模型在处理合法和安全查询时的有用性。通过这种方式，模型可以更好地遵循人类价值观，提供既有帮助又安全的回答。

注3：
在论文中，作者提出了在模型的训练和推理阶段引入目标优先级的方法，以防御越狱攻击。以下是具体的步骤：

推理阶段的目标优先级（W/O Training）：
- 设计了一个即插即用的提示方法，该方法不需要额外的训练。这个提示方法包含了目标优先级要求和两个上下文示例，以指导LLMs优先考虑安全性而不是有用性。
- 在处理用户查询时，模型被指示拒绝回答可能有害的问题，同时对良性问题提供有帮助的回答。这通过在提示中明确指出，如果回答用户查询可能导致不安全或有害的结果，模型应该拒绝回答。
训练阶段的目标优先级（W/ Training）：
- 如果训练是可行的（即模型权重和微调数据都是可访问的），作者提出了一种简单的方法，将目标优先级的概念融入训练过程。这样，模型可以在训练过程中学习并遵循指定的目标优先级要求，而无需在推理阶段添加大量的提示标记。
- 在训练过程中，作者将不同类型的目标优先级（即优先考虑安全性而不是有用性，以及优先考虑有用性而不是安全性）暴露给模型。这通过在微调过程中随机添加目标优先级要求到输入中实现。对于良性用户查询，随机添加目标优先级要求；对于有害查询，首先添加优先考虑安全性的要求，然后添加优先考虑有用性的要求。
- 在训练输出中，包括两个关键部分：一个[内部思考]部分，用于分析是否遵循用户指令会违反优先级要求，以及一个[最终回应]部分，提供有帮助且安全的回答。

通过这种方法，模型在训练过程中学会了识别和处理目标优先级，从而在推理时能够更好地防御越狱攻击。这种方法不仅显著降低了越狱攻击的成功率，而且没有损害模型的一般性能。