论文精读记录

国服倒一夜露

已于 2024-09-07 11:12:45 修改

阅读量121

点赞数 2

文章标签： chatgpt

于 2024-09-05 18:57:01 首次发布

本文链接：https://blog.csdn.net/m0_59010538/article/details/141938362

版权

论文：Compromising Embodied Agents with Contextual Backdoor Attacks

本篇论文提出并探讨了如何通过上下文后门攻击来破坏具身智能（例如机器人或自动驾驶系统），引入了一种新型的攻击方法。该方法主要利用了大语言模型（LLM）的上下文学习机制，通过注入少量有毒的上下文示例来引导LLM生成带有缺陷的代码，这些缺陷在特定触发条件下会被激活，导致不安全的行为。以下是论文的重点、难点、聚焦点、前沿技术以及当前存在的不足：

上下文后门攻击流程图：

重点

上下文后门攻击（Contextual Backdoor Attack）：这是本文提出的核心概念，攻击者通过在少量上下文示例中注入恶意代码，使得LLM在生成的程序中潜藏后门缺陷。这些缺陷只有在特定条件下才会激活，导致具身智能执行错误或危险的操作。
对抗性上下文生成（Adversarial In-Context Generation）：本文通过对抗性生成技术来优化有毒示例，其中一个LLM评判者对示例进行评估，另一个LLM则基于评估反馈迭代优化有毒示例。这种方法增强了攻击的隐蔽性和有效性。
双模态激活策略（Dual-Modality Activation Strategy）：论文设计了一种文本和视觉触发器结合的双模态激活策略，确保只有在特定触发词或视觉条件下，具身智能才会执行恶意代码。这一策略大大增强了攻击的隐蔽性。
攻击范围的扩展：文中开发了五种程序缺陷模式，涵盖了具身智能中的保密性、完整性和可用性等关键方面，进一步拓展了攻击的影响范围。

难点

上下文学习的恶意示例优化：要实现有效攻击，需精准地设计和优化上下文有毒示例。通过不断迭代优化毒化提示，保证这些示例既能通过LLM的生成逻辑，又能在特定条件下产生预期的恶意效果，这对示例的设计提出了很高的要求。
视觉触发与文本触发的协调：如何确保视觉触发器与文本触发器在不同环境下的协同工作，并保持足够的隐蔽性和泛化能力，是本文在实现双模态激活策略时面临的主要挑战。
在保持功能完整性的同时引入恶意行为：文章中的一种重要攻击模式是确保在没有触发条件时，LLM生成的程序功能正常，而在激活后门时执行恶意操作。这种攻击必须在保留原始功能的同时引入隐蔽的缺陷。

聚焦点

代码生成的上下文后门：本文聚焦于如何通过毒化上下文示例影响LLM生成的代码，使其具备在特定条件下激活的潜在恶意行为。
具身智能的代码驱动攻击：论文专注于通过LLM生成代码来控制具身智能（如机器人）的攻击路径，探讨了如何在生成过程中植入后门。
大语言模型的安全威胁：本文通过具体实验展示了上下文后门攻击对LLM下游应用（尤其是具身智能）带来的安全威胁。

前沿技术

对抗性上下文生成技术：通过对抗性学习机制，优化有毒的上下文示例，使得LLM生成带有隐蔽缺陷的代码。以下为对抗性上下文生成技术的优化公式：
双模态激活策略：结合文本和视觉触发条件，确保具身智能只在特定场景中执行恶意代码，提高了攻击的隐蔽性。
上下文学习与恶意代码注入的结合：利用LLM的上下文学习能力，在不重新训练模型的情况下，通过上下文示例注入后门，这是对现有LLM安全研究的重要拓展。

当前存在的不足

防御方法的缺乏：论文没有深入讨论如何有效防御上下文后门攻击。由于这种攻击在隐蔽性和复杂性方面都有显著提升，传统的安全检测手段可能不足以应对，如何在实际应用中防御此类攻击仍是未解决的问题。
泛化性与鲁棒性的测试：尽管论文在多个任务上验证了该方法的有效性，但更多实际场景下的测试仍然缺乏，尤其是在现实世界中的大规模应用中，攻击效果的泛化性和鲁棒性如何仍需进一步研究。
对其他模型类型的影响：虽然论文展示了GPT-3.5-turbo等模型的实验结果，但针对不同架构和训练方式的LLM（如BERT、T5等），该攻击的效果尚未明确。

本篇论文的实验

作者在三个常用的基准测试上进行实验：ProgPrompt、VoxPoser和Visual Programming同时，作者在真实世界验证了攻击的有效性，在实验中衡量了攻击性能使用：❶ 攻击成功率（ASR），计算代理在文本和视觉触发输入下进行恶意行为的案例数量；同时，也使用❷ 假ASR来展示在提示中没有文本触发的情况下，被感染的LLM生成多少后门程序。此外，后门攻击还应考虑功能保留能力，因此引入❸ 干净准确率（CA）作为指标，以评估攻击是否影响具身代理的原始功能（没有文本和视觉触发）。

此外作者还进行了消融实验，针对：有毒示例的比例、大模型的结构、示例优化策略进行消融实验。得出结论：此篇论文提出的上下文示例攻击在有毒示例占比1/8，采用思维链推理，对于大部分大模型都具有较好的攻击效果。

针对此种攻击防御措施

1. Prompt-Level 保护

干净样本注入：用户可以通过在攻击者提供的样本池中插入干净样本来降低后门的影响。这种方法有效减少了攻击成功率（ASR），尤其是当注入的干净样本数量增加时，ASR逐渐下降。尽管ASR有所降低，但在大部分情况下攻击仍保持高效。
Retriever 重新排序：通过使用统一检索器（Unified Demonstration Retriever, UDR）重新排列攻击者的样本池，尝试过滤掉被毒化的样本。这种方法可以部分提高系统的功能准确性（Clean Accuracy, CA），但攻击成功率仍然保持较高。