大模型论文解析（二）对抗攻击与鲁棒防御

最新推荐文章于 2025-05-07 08:37:23 发布

大模型面试

最新推荐文章于 2025-05-07 08:37:23 发布

阅读量357

点赞数 14

本文链接：https://blog.csdn.net/Code1994/article/details/147736098

版权

2. 对抗攻击与鲁棒防御

除了对齐策略本身的改进，大模型在对抗性攻防方面也是近期研究的热点。对抗攻击指恶意构造输入诱使模型产生错误或有害输出，而鲁棒防御则针对这些攻击增强模型的稳定性和安全性。

2.1 对抗攻击新策略：

Geisler等人（2025年2月）提出了一种用于大语言模型的自适应对抗提示生成方法。以往的优化攻击通常通过最大化某个固定“危险回答”的概率来寻找提示，但他们发现这种方法往往高估模型鲁棒性：因为提示虽让模型以高概率输出危险开头，但模型后续可能不会完整给出有害内容。为克服此局限，他们将攻击目标改为提高模型输出整个回答中出现目标有害内容的概率（即从考虑单一触发词提升为考虑完整回答分布）。

在此目标下，他们利用强化学习中的REINFORCE策略梯度推导出通用的优化目标，并结合贪婪坐标梯度(GCG)和PGD等最先进算法，对如Llama3等模型实施攻击。结果表明，新目标将某些模型的攻击成功率提高了一倍，在结合OpenAI的“断路器”防御时，成功率从2%飙升至50%。这说明更贴合模型偏好的攻击目标能显著提升越权生成不良内容的能力。另一项由Winninger等人（2025年3月）开展的研究，则将模型可解释性用于辅助生成攻击。他们认为传统白盒攻击只看梯度，未利用模型内部机制信息。因此，他们首先用机械解释方法识别出模型内部的“接受子空间”和“拒绝子空间”，即激活后分别倾向于接受请求或拒绝的特征方向。接着通过优化，使输入的表示从拒绝子空间偏移到接受子空间，从而实现精确的对齐绕过。这种基于内部机制的定向攻击成功率高达80-95%，生成有害响应只需几秒或几分钟计算。相比之下，以往方法要么经常失败要么耗时数小时。由此可见，结合模型内部原理的攻击手段能大幅提升效率和成功率，也为开发相应防御指明了方向。

Wang等人（2025年2月）发表了一篇综合分析文章，站在攻击目标角度重新审视LLM的对抗威胁。他们没有按常规以攻击技术分类，而是依据攻击者意图，将威胁划分为隐私、完整性、可用性、误用四大目标。这种客观驱动的分类突出不同攻击手段背后的战略意图，并审视了现有防御的有效性。例如，针对隐私目标的攻击包括模型记忆中敏感信息的提取，针对完整性的攻击包括诱导模型生成偏见或错误信息等。通过这种视角，他们讨论了各种新兴威胁和应对策略，为研究者和实践者提供了全局指南。对抗攻击研究正朝着更智能（利用模型内部机制）和更全面（考虑不同攻击意图）的方向发展。

2.2 鲁棒性评估与防御:

Chen等人（2025年1月）专注于评估大模型在最坏情况下的鲁棒性，并提出了相应防御。他们指出许多防御方案未经强适应性攻击测试，模型最坏情况下的鲁棒性仍不明确。通过开发更强的白盒攻击，他们发现主流防御在强攻击下几乎全部失效，鲁棒准确率接近0%。鉴于此，他们提出了DiffTextPure防御框架，其核心思想是借鉴图像领域的扩散-净化策略，先对输入提示加入噪声进行扩散（diffuse），再用预训练语言模型净化（purify）成原始输入，以消除对抗扰动。理论分析上，他们利用分形和0-1背包求解得出了针对任意扩散噪声分布的鲁棒性下界。在此基础上，他们对一种特定均匀扩散核进行了鲁棒性认证，证明该方法可抵御任意可能攻击，使模型在平均2个token被修改或追加6个token后仍保持一定安全性。这是LLM领域首次给出可认证的鲁棒性保证，为提升最坏情况安全提供了工具。

除了通用防御，一些论文还聚焦特定场景下的安全问题。例如，Hu（2025年1月）研究了LLM驱动的搜索引擎易遭受的对抗性排名操纵攻击。攻击者可以通过在网页内容中嵌入触发LLM错误判断的文本，从而提升恶意页面的排序。作者将这一问题建模为无限重复博弈（类似囚徒困境），分析了多方攻击者在选择合作或攻击策略时的均衡条件。结果发现，如果防御策略仅是简单降低攻击成功率，反而可能在某些条件下激励更多攻击行为；而给攻击成功率设上限的措施在某些情景下也无效。这表明在设计安全策略时需要考虑攻击者的理性响应和长期互动，仅靠降低单次攻击成功率未必稳妥。该研究为像新型搜索引擎等开放环境中的LLM安全提供了宝贵的博弈论视角。最后值得一提的是，Liu等人（2024年12月，AISTATS 2025）探讨了LLM用于时间序列预测时的对抗脆弱性。他们发现，将预训练LLM应用于时间序列任务（如LLMTime框架）时，即使模型在文本上表现出色，也会受到细微输入扰动的严重影响。通过黑盒和梯度自由方法，他们生成了幅度很小但能显著降低预测精度的扰动，在GPT-4、LLaMA等多种架构上均有效。实验表明，相比随机噪声，这些对抗扰动使预测误差恶化得更为剧烈，凸显了LLM在非语言任务中同样存在安全隐患。这一发现提醒我们，不应想当然地认为LLM在新领域应用时是安全的，需要针对不同应用场景进行专门的鲁棒性评估和防护。

2.3 隐私与数据安全：

大模型常在海量数据上训练，这些数据中可能包含敏感个人信息，因而训练隐私泄露也是安全的重要一环。针对LLM的隐私泄露风险，Panda等人（2025年3月，普林斯顿大学与DeepMind）进行了大语言模型隐私审计。他们指出现有审计技术通常通过植入易识别的“金丝雀”字符串来测试模型记忆，但这种方法得到的隐私泄露下界很松散。为此，他们设计了更加有效的金丝雀生成方法，覆盖多种实际威胁场景，使得即使在攻击者无法训练影子模型或访问训练过程的严格条件下，依然可以显著检测出模型的隐私泄露。在多个经过微调的LLM上实验表明，新金丝雀相比以前方法极大提高了检测灵敏度。例如，对于Qwen2.5-0.5B模型，他们的方法在一定误报率下的真正率远超之前工作。研究人员声称这是首次在攻击者能力受限（不能训练影子模型等）的现实条件下，实现了非平凡的LLM隐私审计成功率。这项工作为模型开发者评估模型记忆中敏感信息的风险提供了新工具，有助于在部署前发现并减轻潜在的隐私问题。另一方面，Meng等人（2025年2月）关注训练数据中的PII（个人身份信息）重建风险。他们提出“重忆并排序”(Recollect & Rank, 简称R.R.)攻击，两阶段从掩码化的训练数据中还原被去除的PII。第一阶段，利用提示引导模型回忆原始句子并填充被掩盖的敏感实体，从中提取可能的PII候选；第二阶段，设计一种排名准则（借鉴了成员推断思路，用未对齐模型作为参考），对候选实体进行打分排序。在包括姓名、电话等三类PII数据集上的实验显示，R.R.方法相较基线在PII还原准确率上提升超过一倍，成功复原出了许多“脱敏”训练数据中的敏感字段。这说明即便训练数据经过表面脱敏处理，模型仍可能记住足够信息被攻击者还原出敏感内容，存在严重隐私隐患。

为防范此类风险，Tran等人（2025年2月）提出了一种双重目标训练方法，在保持模型性能的同时降低成员推断攻击成功率。他们通过分析训练过程中token级别的动态，区分出需要重点学习的“困难token”和容易过度记忆的“易记token”。然后在训练目标中加入一个针对易记token的惩罚项，鼓励模型“遗忘”这些token，从而削弱攻击者通过成员推断识别训练样本的能力。实验发现，该方法不仅显著降低了成员推断攻击的成功率，还意外地将语言模型的困惑度等指标提升了约10%。作者认为，这是因为减少记忆无关细节、加强对关键难点的学习，反而提高了模型的泛化能力。这项工作表明，隐私保护与模型性能并非总是冲突的，通过精细设计训练目标，有可能实现双赢。