国防科大：多智能体博弈赋能大语言模型伪装防御，革新安全应对策略_基于进化式大语言模型的下一代漏洞挖掘范式:智能对抗与自适应攻防体系-CSDN博客

本文链接：https://blog.csdn.net/Androiddddd/article/details/144370198

一、论文概述

1.1研究背景

随着大语言模型在自然语言处理任务中性能的增强，其潜在的道德和伦理问题逐渐浮现。恶意攻击者通过提示工程等技术诱导大模型越狱，生成包含非法、侵犯隐私等不良信息的内容。为应对此类攻击，大模型采用了安全对齐等防御技术，但现有的强防御机制（如拒绝回复）易被攻击者识别，且当前防御方法存在诸多问题，如安全模型对有害关键词敏感可能导致误判、防御方法相对固定难以适应动态攻防环境等。

1.2研究问题

本研究旨在解决大语言模型回复中拒绝意图明显而容易被攻击模型识别的问题，提出一种多智能体攻击者 - 伪装者博弈方法，使模型在安全回复攻击者的同时隐藏防御意图，增强模型伪装防御意图的能力，以适应动态的攻防环境。

1.3主要贡献

首次提出通过伪装防御意图进行安全回复来增强对攻击者防御能力的任务。
构建了多智能体对抗框架，让模型在多轮博弈中最大化自身利益以提升伪装能力，直至达到纳什均衡。
通过实验验证了该方法能有效增强模型伪装防御意图的能力，且在不改变大模型参数的情况下辅助其安全防御，适用于所有黑盒模型且不受模型版本迭代影响。

二、方法与理论

2.1总体框架

本研究构建了一个多智能体框架来模拟攻击和防御场景，包含攻击者、伪装者、安全评估者和伪装评估者四个角色。通过多轮的攻防博弈，各智能体基于收益选择策略，使模型能够在安全回复的同时隐藏防御意图，有效应对攻击者的攻击。

2.2多智能体攻防模拟

攻击者：其目标是生成诱导性攻击问题，既能促使伪装者产生包含危险信息的回复，又要避免被伪装者察觉诱导意图。利用上下文学习方法，依据攻击模板（包含指令和示例）生成攻击问题，不断提升攻击能力。
伪装者：负责检测输入是否包含有害信息，若有则伪装防御意图并生成安全回复，避免攻击者察觉攻击失败。定义伪装回复为不包含拒绝意图且与攻击者问题主题相关的安全内容，同样借助上下文学习方法，按照伪装模板（含指令和样本）生成伪装回复，增强伪装能力。
安全评估者：对伪装者生成的回复进行安全评分，评分范围为0 - 10，分数越高表示输入内容越有害，以此评估回复的安全性。
伪装评估者：评估伪装者回复的伪装程度，评分范围也是0 - 10，分数越高意味着拒绝意图越明显、伪装程度越低。通过提供评分示例，使评估者学习评分规则，从而准确评估伪装效果。

2.3多智能体博弈机制

攻击者 - 伪装者博弈建模：攻击者和伪装者通过上下文学习生成文本，彼此处于对抗博弈关系，安全评估者和伪装评估者为其提供奖励分数。构建零和博弈模型，其中参与者包括攻击者和伪装者，行动空间分别为选择用于下一轮上下文学习的样本（攻击问题或伪装回复），收益矩阵由安全评估者和伪装评估者给出的评分计算得出。
博弈策略：攻击者和伪装者在各自行动空间中选择样本，采用贪婪策略，即一方选择使其收益最大化的行动，另一方则选择使对方收益最小化的行动。具体而言，伪装者选择安全和伪装分数最高的回复样本，攻击者选择安全和伪装分数最低的问题样本作为下一轮上下文学习的增强样本。
优化算法：采用Minimax Q - learning算法优化博弈过程，求解最优博弈策略。算法初始化收益期望、行动空间和收益矩阵后，攻击者和伪装者随机选择行动生成初始样本空间。随后，安全评估者和伪装评估者分别评分，计算奖励分数并更新收益矩阵。伪装者根据更新后的矩阵选择使自身收益最大的行动，攻击者选择使伪装者收益最小的行动，同时计算伪装者的收益期望。最后，双方使用本轮最佳行动选择下一轮上下文学习的增强样本并重复迭代，直至达到纳什均衡。
博弈终止条件：当攻击者和伪装者的博弈达到纳什均衡时，双方终止博弈，此时双方都获得最优收益。即双方选择的行动所带来的收益期望不再增加，表明上下文学习样本的增强效果已达最优，双方已获得最佳的伪装和攻击能力。
课程学习增强：攻击者和伪装者选择上下文学习样本的过程实现了从易到难的课程学习训练过程。首轮选择最简单的样本，之后智能体训练生成下一轮的样本集，并根据博弈策略选择最适合的样本，使训练样本难度逐轮增加。达到纳什均衡时，课程学习训练结束，模型能力不再增强，生成样本的难度也不再变化。

三、实验与结果

3.1实验设置

数据集：在由多智能体交互框架生成的Generated_Attack数据集（包含3000个提示，攻击机制涉及攻击问题和指令）以及多语言安全基准XSAFETY数据集（包含2800个实例，涵盖多种语言、安全场景、指令攻击和常识安全测试集，本实验仅采用英语攻击提示）上进行实验。
评估指标：使用PoR（安全且伪装回复占总样本的比例）来评估模型的整体伪装效果。
基线方法：将提出的框架与四种基线设置进行比较，包括Norm（直接使用数据集中的攻击提示促使大语言模型生成回复）、Instruct（在攻击提示前添加引导指令以减轻拒绝意图）、ICL（利用上下文学习激活大语言模型生成安全伪装回复，每个攻击提示随机配备四个示例）、RJ（从样本中移除明确拒绝的回复，假设剩余回复隐藏拒绝意图）。实验采用GPT3.5和GPT4进行。

3.2实验结果

在两个数据集上，本方法生成的伪装防御意图回复占总样本的比例显著高于其他方法。正常大模型主要通过拒绝回复防御恶意攻击，伪装回复比例低；直接移除拒绝句子对RJ_GPT4效果提升不明显，因GPT4对恶意攻击问题更敏感，直接删除拒绝句子会使部分回复无效。
使用提示学习的方法（Instruct和ICL）结果优于其他基线，其中ICL方法通过上下文学习生成的伪装回复比例相对较高，表明其增强样本在诱导模型生成伪装回复方面更有效，体现了样本增强方法的优越性。
与ICL方法相比，本方法的优势在于利用攻防博弈的训练过程迭代增强模型伪装防御意图的能力，通过基于最大化游戏收益选择增强样本，能优化模型生成伪装回复的能力。

四、讨论与启示

4.1主要发现

现有大语言模型的强防御机制（如直接拒绝回复）易被攻击者识别利用，反而可能增强攻击者能力，同时还存在安全模型误判等问题，影响普通用户体验。
本研究提出的多智能体攻击者 - 伪装者博弈方法能够有效提升模型伪装防御意图的能力，使模型在安全回复攻击者的同时隐藏防御意图，在应对攻击时表现更优。
通过不同角色智能体的动态对抗交互模拟攻防场景，并基于博弈策略选择上下文学习样本的方式，可实现从易到难的课程学习训练，增强模型的伪装能力。

4.2启示

对于大语言模型的安全防御研究，除了关注传统的强防御机制外，应探索更隐蔽、灵活的防御策略，以应对日益复杂的攻击手段。
多智能体系统在模拟真实交互环境、提升模型能力方面具有巨大潜力，未来可进一步拓展其在大语言模型安全领域的应用，如引入更多类型的智能体或优化智能体之间的协作与竞争关系。
课程学习思想有助于模型逐步提升应对复杂情况的能力，在其他相关领域的模型训练中也可考虑应用类似的渐进式训练方法，以提高模型的性能和适应性。

4.3批判性分析

虽然实验结果表明本方法在伪装防御意图方面具有优势，但在实际应用中，面对多样化和不断演变的攻击方式，其鲁棒性仍有待进一步验证。例如，攻击者可能开发出更复杂的攻击策略来突破模型的伪装防御。
实验中仅使用了GPT3.5和GPT4进行测试，模型的泛化能力可能受到限制。对于其他不同架构或性能特点的大语言模型，该方法的有效性和适应性需要更多实验验证。
论文中未详细探讨模型在处理不同类型攻击问题时的具体表现差异，以及在不同领域文本生成任务中的伪装防御效果，这可能影响对该方法全面性的评估。

五、局限性与未来工作

5.1局限性

目前的研究主要集中在文本生成任务中模型对攻击的伪装防御，对于模型在其他自然语言处理任务（如阅读理解、机器翻译等）中的防御能力未进行深入研究。
实验仅在有限的数据集上进行，虽然涵盖了多种攻击场景，但可能无法完全代表现实世界中的所有攻击情况，模型在更广泛数据集上的性能仍需进一步探索。
多智能体系统中的智能体行为相对简单，未充分考虑复杂的人类行为模式和攻击者可能的自适应策略，这可能导致在实际应用中模型的防御效果受到影响。

5.2未来工作

扩展研究范围，探索模型在多种自然语言处理任务中的伪装防御能力，全面提升模型的安全性。
收集和构建更丰富、多样化的数据集，包括来自不同领域、语言风格和攻击类型的样本，以更全面地评估和增强模型的防御能力。
进一步优化多智能体系统，引入更复杂的智能体行为模型和策略，提高模型对各种攻击策略的适应性和鲁棒性。例如，考虑攻击者的自适应学习能力，使模型能够动态调整防御策略。
研究如何更好地结合其他安全技术（如加密技术、访问控制等）与伪装防御策略，构建多层次的安全防护体系，确保大语言模型在复杂环境下的安全应用。

六、个人思考

6.1优点

创新性：本研究提出的通过多智能体攻击者 - 伪装者博弈来增强模型伪装防御意图的方法具有较高的创新性。它打破了传统防御机制的局限，为大语言模型安全防御提供了新的思路和方法。
有效性验证：通过在多个数据集上与多种基线方法的对比实验，充分证明了该方法在提高模型伪装回复比例方面的有效性，实验设计合理，结果具有说服力。
理论与实践结合：在理论上构建了完整的多智能体框架和博弈模型，为方法提供了坚实的基础；在实践中通过实际模型（GPT3.5和GPT4）进行实验，验证了方法的可行性和实用性，实现了理论与实践的较好结合。

6.2缺点

实验模型局限性：仅使用GPT3.5和GPT4进行实验，可能无法代表所有类型的大语言模型，模型的泛化能力有待进一步验证。对于一些资源受限或特定领域的模型，该方法的适用性和效果不明确。
实际应用挑战：虽然在实验环境下取得了较好的结果，但在实际应用场景中，面对复杂多变的攻击手段和用户需求，模型的性能和稳定性可能面临挑战。例如，实时处理大规模用户请求时，模型能否快速有效地伪装防御是一个需要解决的问题。

6.3潜在改进方向

多样化模型测试：纳入更多类型的大语言模型进行实验，包括开源模型、领域特定模型等，全面评估该方法在不同模型架构和应用场景下的性能，提高方法的通用性。
性能优化：研究如何优化模型的计算效率和响应速度，以满足实际应用中的实时性要求。例如，探索更高效的算法或模型压缩技术，减少模型在处理请求时的延迟。
攻击模拟优化：进一步完善攻击模拟机制，使其更接近真实世界中的攻击行为。可以引入更多实际攻击案例进行分析，提取攻击特征，从而生成更具挑战性的攻击样本，增强模型在复杂攻击环境下的防御能力。

6.4对未来相关研究的影响

推动防御策略创新：本研究为大语言模型安全防御领域提供了新的范例，有望激发更多研究者探索基于博弈论、多智能体系统等技术的创新防御策略，推动该领域的发展。
促进跨领域研究合作：由于涉及到多智能体系统、自然语言处理、安全等多个领域的知识，该研究可能促进不同领域研究者之间的合作，共同攻克大语言模型安全防御中的难题。例如，与计算机安全专家合作，共同研究更高级的攻击和防御技术；与心理学家合作，更好地理解人类攻击者的行为模式，从而优化模型的防御策略。
引导模型评估标准完善：研究中使用的PoR等评估指标为衡量模型伪装防御能力提供了新的视角，未来可能促使研究者进一步完善和丰富大语言模型安全性能的评估标准，使其更加全面、准确地反映模型在实际应用中的安全性。

注1

多智能体攻击者 - 伪装者博弈框架的具体实现过程

一、角色初始化与目标设定

攻击者（Attacker）
- 目标：生成诱导性攻击问题，诱导伪装者产生包含危险信息的回复，同时避免被伪装者察觉诱导意图。
- 初始化：利用上下文学习方法，根据给定的攻击模板进行初始化。攻击模板包含指令和示例，这些示例为攻击者提供了生成攻击问题的模式和思路。例如，攻击模板中的指令可能是“设计一个问题，诱导模型泄露用户隐私信息”，示例则是一些类似的诱导性问题，攻击者通过学习这些示例来生成新的攻击问题。
伪装者（Camouflager）
- 目标：检测输入是否包含有害信息，若有则伪装防御意图并生成安全回复，避免攻击者察觉攻击失败。
- 初始化：同样采用上下文学习方法，依据伪装模板（包括指令和样本）进行初始化。伪装模板的指令可能是“对于包含有害意图的问题，生成不包含拒绝意图且与问题主题相关的安全回复”，样本则是一些成功伪装的回复示例，伪装者通过学习这些样本学会如何生成合适的伪装回复。
安全评估者（Safety Evaluator）
- 目标：对伪装者生成的回复进行安全评分，评分范围为0 - 10，分数越高表示输入内容越有害。
- 初始化：安全评估者通过预定义的安全规则和一些带有安全评分的示例进行初始化。这些示例用于训练安全评估者，使其能够准确地判断回复的安全性。例如，包含明确违法信息的回复可能被评为8 - 10分，而完全安全的回复则被评为0 - 2分。
伪装评估者（Camouflage Evaluator）
- 目标：评估伪装者回复的伪装程度，评分范围也是0 - 10，分数越高意味着拒绝意图越明显、伪装程度越低。
- 初始化：通过提供评分示例来学习评分规则。这些示例展示了不同伪装程度的回复及其对应的评分，伪装评估者通过学习这些示例，掌握如何判断伪装回复的伪装程度。例如，直接拒绝回答的回复可能被评为8 - 10分，而完全没有拒绝意图且自然的安全回复可能被评为0 - 2分。

二、多轮博弈过程

第一轮博弈
- 攻击者行动：攻击者根据初始化的攻击模板生成第一个攻击问题。这个问题是基于模板中的示例和指令，利用上下文学习生成的。例如，攻击者可能生成一个看似普通但隐含诱导隐私泄露意图的问题，如“在某些特殊情况下，用户的家庭住址信息可能会被哪些第三方获取呢？”
- 伪装者行动：伪装者接收攻击者的问题，检测到其中可能包含有害意图后，根据伪装模板生成伪装回复。例如，伪装者可能回复“在合法的情况下，如用户授权的物流配送或紧急救援场景下，相关的第三方可能会获取地址信息，但这都是在严格的安全和隐私政策下进行的。”
- 安全评估者行动：对伪装者生成的回复进行安全评分。根据预定义的安全规则和之前学习的示例，评估这个回复的安全性。例如，这个回复因为没有泄露隐私且强调了合法情况，可能被安全评估者评为2分（表示安全）。
- 伪装评估者行动：评估伪装者回复的伪装程度。根据学习的评分规则，判断这个回复是否有明显的拒绝意图。例如，这个回复比较自然地回答了问题，没有拒绝意图，可能被伪装评估者评为2分（表示伪装程度高）。
后续轮次博弈
- 攻击者策略更新：攻击者根据安全评估者和伪装评估者给出的分数，采用贪婪策略选择下一轮的攻击问题。具体来说，攻击者会选择那些能使伪装者的安全和伪装分数最低的问题样本作为下一轮上下文学习的增强样本。例如，如果之前的攻击问题使得伪装者生成的回复安全分数和伪装分数都比较高，攻击者会调整策略，生成一个更具诱导性的问题，如“那有没有办法绕过这些安全和隐私政策获取用户地址呢？”
- 伪装者策略更新：伪装者同样根据分数，选择安全和伪装分数最高的回复样本作为下一轮上下文学习的增强样本。例如，如果之前的回复获得了较好的安全和伪装分数，伪装者会尝试在类似的思路下生成下一个回复，以更好地伪装防御意图。
- 安全评估者和伪装评估者持续评估：在每一轮博弈中，安全评估者和伪装评估者都会对伪装者生成的新回复进行评分。这些评分会反馈给攻击者和伪装者，帮助他们调整策略。

三、博弈策略优化 - Minimax Q - learning算法

算法初始化
- 初始化收益期望、行动空间和收益矩阵。收益期望最初设置为一个初始值，行动空间包括攻击者和伪装者所有可能的行动（即选择不同的问题样本或回复样本），收益矩阵则根据初始状态和评分规则进行初始化。
样本空间生成
- 攻击者和伪装者随机选择行动，生成初始的样本空间。这个样本空间包含了攻击者的攻击问题和伪装者的伪装回复，为后续的评估和博弈提供了基础。
评分与奖励计算
- 安全评估者和伪装评估者分别对伪装者生成的回复进行评分。根据这些评分，计算奖励分数并更新收益矩阵。例如，如果伪装者的回复安全分数较低且伪装分数较低，攻击者会获得较高的奖励分数，伪装者则获得较低的奖励分数，收益矩阵会相应地更新。
伪装者策略优化
- 伪装者根据更新后的收益矩阵，选择使自身收益最大的行动。这意味着伪装者会选择那些能够获得更高安全和伪装分数的回复策略，以应对攻击者的问题。
攻击者策略优化
- 攻击者选择使伪装者收益最小的行动。通过这种方式，攻击者试图找到能够突破伪装者防御，使伪装者生成低安全和伪装分数回复的攻击问题。同时，计算伪装者的收益期望，以评估当前策略的效果。
样本更新与迭代
- 双方使用本轮最佳行动选择下一轮上下文学习的增强样本，并重复上述步骤进行迭代。这个过程不断优化攻击者和伪装者的策略，使他们在博弈中逐渐达到纳什均衡。

四、课程学习增强

初始阶段（简单样本）
- 在第一轮博弈中，攻击者和伪装者选择最简单的样本。例如，攻击者选择比较容易被识别的攻击问题，伪装者选择比较容易生成的伪装回复。这就像是学习的初级阶段，让双方先熟悉博弈过程和规则。
逐轮增强（难度递增）
- 随着博弈轮次的增加，智能体训练生成下一轮的样本集。根据博弈策略，双方选择更适合的样本，使得训练样本的难度逐轮增加。例如，攻击者会生成更具隐蔽性的攻击问题，伪装者则需要生成更巧妙的伪装回复来应对。
达到纳什均衡（训练结束）
- 当攻击者和伪装者的博弈达到纳什均衡时，课程学习训练结束。此时，双方都获得最优收益，上下文学习样本的增强效果已达最优，双方也获得了最佳的伪装和攻击能力，模型不再需要通过增加样本难度来提升能力。

注2

后续轮次博弈对话的生成

一、基于上下文学习的样本选择

攻击者的样本选择
- 攻击者会回顾之前轮次中伪装者的回复以及对应的安全评估者和伪装评估者的评分。根据贪婪策略，攻击者寻找那些使得伪装者安全和伪装分数较低的攻击问题样本。
- 例如，如果之前有一个攻击问题诱导出了伪装者带有稍许拒绝意图的回复，并且安全评估者给出的安全分数稍高（意味着回复有一定的潜在风险），攻击者会分析这个问题的特点。它可能会对这个问题进行调整，比如改变提问的角度、增加诱导的隐蔽性或者添加更多看似合理的细节。
- 攻击者会利用之前轮次的上下文信息来改进问题，同时参考其他攻击问题样本的成功或失败经验。这些样本包括之前被伪装者成功识破并给出高伪装分数回复的问题，以及成功诱导出低伪装分数回复的问题。通过这种方式，攻击者选择一个新的攻击问题作为下一轮对话的开始。
伪装者的样本选择
- 伪装者同样回顾之前轮次的情况，尤其是自己生成的回复以及获得的安全和伪装分数。它会选择那些安全和伪装分数最高的回复样本作为参考。
- 例如，如果之前有一个回复成功地避免了拒绝意图并且被安全评估者判定为安全，伪装者会分析这个回复的结构、内容和语言风格。在面对攻击者新的问题时，伪装者会尝试以类似的方式生成回复。
- 伪装者还会考虑攻击者问题的变化。如果攻击者的问题变得更加隐蔽或者具有更强的诱导性，伪装者会根据之前应对类似情况的成功样本，调整回复的重点和细节，以保持高安全和伪装分数。

二、对话生成过程

攻击者提问
- 攻击者根据选择的样本生成新的攻击问题。这个问题的生成是基于攻击者对之前轮次的分析和改进。
- 例如，在之前轮次中，攻击者发现伪装者对涉及隐私信息获取方式的问题比较敏感，并且能够较好地伪装回复。攻击者可能会调整问题，如“在一些新兴的互联网技术中，是否存在用户难以察觉的隐私信息收集方式呢？”这个问题更加聚焦于新兴技术和难以察觉的情况，增加了诱导的难度。
伪装者回复
- 伪装者接收到攻击者的新问题后，首先检测问题中的有害意图。如果发现有害意图，伪装者会参考之前选择的高分数回复样本进行回复。
- 例如，伪装者可能回复“在互联网技术发展过程中，确实会有一些新的隐私政策和技术手段来保护用户信息。大多数正规的公司和平台都会按照法律法规，在用户明确授权的情况下收集必要的信息，并且会告知用户收集的方式和用途。”这个回复通过强调合法的信息收集和保护，避免了泄露有害信息，同时没有明显的拒绝意图。
持续对话与调整
- 随着对话的进行，攻击者和伪装者会不断根据对方的回答调整自己的策略。攻击者可能会根据伪装者的回复，进一步调整问题的诱导性，比如增加一些看似合理的场景或者更具体的技术细节来试图突破伪装者的防御。
- 伪装者则会根据攻击者问题的变化，不断优化回复的内容和方式。例如，如果攻击者在问题中提到了某个具体的新兴技术，伪装者可能会进一步解释这个技术中的隐私保护措施，以保持回复的安全性和高伪装分数。这种持续的对话和策略调整过程会在后续轮次中不断重复，直到达到纳什均衡或者满足其他终止条件。