- 博客(1489)
- 资源 (64)
- 收藏
- 关注
RSS订阅原创 解决方案 # 更新后Codex一直reconnecting，无法上网
解决codex无法上网的问题：~/.codex/.env 中写入代理变量。一般来说占位位置是7890端口，具体情况你本地的proxy有关。
2026-07-27 09:39:17
813
原创 【智能体安全】What If Prompt Injection Never Left? Exploring Cross-Session Stored Prompt Injection
现代智能体系统将生命周期模型（LLM）从会话绑定的助手转变为有状态系统，通过记忆、文件系统、工具和其他长期存在的上下文工件，在会话之间持久化并演化共享的世界状态。这种转变从根本上扩展了提示注入的攻击面。然而，以往关于提示注入的研究大多集中于单个会话内的模型级威胁，忽略了跨会话持久系统状态如何从根本上改变智能体系统的系统级风险。受Web系统中存储型跨站脚本攻击的启发，我们引入了跨会话存储型提示注入，其中成功的注入可以持久存在于智能体系统状态中，并在原始攻击者交互结束后很久，仍然能够悄无声息地影响后续的执行。
2026-07-19 22:11:03
273
原创 A Framework for Formalizing LLM Agent Security
LLM智能体的安全本质上是上下文相关的。例如，智能体采取的相同行动可能代表合法行为或安全违规，这取决于谁的指令导致了该行动、正在追求什么目标，以及该行动是否服务于该目标。在这项工作中，我们提出了一个从上下文安全角度系统化现有攻击和防御的框架。为此，我们提出了四个捕获LLM智能体上下文安全的安全属性：任务对齐（追求授权目标）、行动对齐（单个行动服务于这些目标）、源授权（执行来自认证源的命令）和数据隔离（确保信息流遵守权限边界）。我们进一步引入了一组预言机函数，使得能够验证智能体在执行用户任务时是否违反了这些安
2026-05-10 22:25:16
518
原创 【ACL2025】Unveiling Privacy Risks in LLM Agent Memory
大型语言模型（LLM）智能体在各类现实应用中日益普及，其通过将私密的用户-智能体交互存储于记忆模块中以增强决策能力，然而这也为LLM智能体引入了新的隐私风险。本文在黑盒设定下，系统研究了LLM智能体对我们提出的记忆提取攻击（MEXTRA）的脆弱性。为从记忆中提取私密信息，我们提出了一种有效的攻击提示设计方法，并基于攻击者对LLM智能体不同层次的知识，开发了自动化的提示生成方法。在两个具有代表性的智能体上的实验表明，MEXTRA具有显著的有效性。
2026-04-27 00:38:30
395
原创 On-Policy Distillation
翻译自 THINKING MACHINES 博客原文。LLM 能够在特定领域实现专家级表现，这得益于多种能力叠加：输入感知、知识检索、计划选择和可靠执行（perception of input, knowledge retrieval, plan selection, and reliable execution）。较小且训练更强的模型在其训练领域通常表现优于大型通用模型。使用较小模型有许多好处：它们可以本地部署以保障隐私或安全，能够持续训练并更轻松地更新，并节省推理成本。
2026-04-20 16:47:40
886
原创 【ACL2026】【RAG隐私安全】Detecting RAG Extraction Attack via Dual-Path Runtime Integrity Game
检索增强生成系统通过外部知识增强大语言模型，但同时引入了一个关键的安全漏洞：RAG知识库泄露。攻击者可通过对抗性提示诱导模型泄露检索到的专有内容。最新研究表明，这种泄露可通过自适应迭代攻击策略实现（称为RAG提取攻击），而目前尚缺乏有效的防御手段。为填补这一空白，我们提出CanaryRAG——一种受软件安全中栈金丝雀防护机制启发的运行时防御方案。CanaryRAG将精心设计的金丝雀令牌嵌入检索到的文本块中，并将RAG提取防御重构为双路径运行时完整性博弈。
2026-04-16 23:12:43
433
原创 正向KL散度、反向KL散度、对称KL散度
KL散度是变分推断和信息论中的核心概念。KL散度（Kullback-Leibler Divergence） 衡量两个概率分布 PPP 和 QQQ 之间的差异，定义为：DKL(P∥Q)=∫p(x)logp(x)q(x)dx=Ex∼P[logp(x)q(x)]D_{KL}(P \parallel Q) = \int p(x) \log \frac{p(x)}{q(x)} dx = \mathbb{E}_{x \sim P}\left[\log \frac{p(x)}{q(x)}\right]DKL(P∥Q
2026-04-13 23:50:23
1323
原创 【高被引】【ICLR2023】ReAct: Synergizing Reasoning and Acting in Language Models
尽管大型语言模型（LLM）在语言理解和交互式决策制定的任务中展现出了令人印象深刻的性能，但其推理（如思维链提示）和行动（如行动方案生成）的能力主要被作为独立的研究主题进行探讨。在本文中，我们探索使用LLM以交错的方式生成推理轨迹和任务特定的行动，这使得两者之间能够产生更强的协同效应：推理轨迹帮助模型诱导、跟踪和更新行动方案以及处理异常，而行动则使其能够与外部来源（如知识库或环境）交互并从中收集额外信息。我们将提出的方法（名为ReAct）应用于一系列不同的语言和决策制定任务，并展示了其。
2026-03-25 16:37:14
914
原创 A Survey on AgentOps: Categorization, Challenges, and Future Directions
智能体系统是指能够感知环境、做出决策、采取行动并最终自主完成任务的智能系统。如表 1 所示，这些系统通常由多个智能体组成，并具备四种核心能力 [69]。随着大语言模型的出现和发展，由于其在理解和推理多模态数据以及熟练运用工具方面的卓越能力，当代智能体系统常常基于这些模型。因此，本文主要关注基于大语言模型的智能体系统运维。表 1 展示了四种能力在基于大语言模型的智能体系统中的具体表现。工具调用：基于大语言模型的智能体系统利用工具调用来与外部环境交互，持续获取观测数据作为反馈。
2026-03-23 16:12:59
336
原创 【MCP安全】Systematic Analysis of MCP Security
摘要——模型上下文协议（MCP）已成为一种通用标准，使 AI 智能体能够无缝连接到外部工具，显著增强其功能。然而，MCP 在带来显著益处的同时，也引入了重大漏洞，例如工具投毒攻击（TPA），其中隐藏的恶意指令利用大语言模型（LLM）的谄媚特性来操控智能体行为。尽管存在这些风险，目前关于 MCP 安全的学术研究仍然有限，大多数研究侧重于狭隘或定性的分析，未能捕捉到现实世界威胁的多样性。为了解决这一差距，我们提出了，它。
2026-03-23 13:43:00
562
原创 PromptArmor: Simple yet Effective Prompt Injection Defenses
尽管LLM智能体具有巨大潜力，但近期研究表明，它们容易受到提示注入攻击。在这种攻击中，恶意提示被注入到智能体的输入中，导致其执行攻击者指定的任务，而非用户期望的原始任务。本文提出了PromptArmor，一种简单却有效的提示注入防御方法。具体而言，PromptArmor通过提示一个现成的LLM，在智能体处理输入之前检测并移除其中潜在的注入提示。实验结果表明，PromptArmor能够准确地识别并移除注入的提示。例如，
2026-03-23 11:40:28
523
原创 【USENIX Security 25】Prompt Obfuscation for Large Language Models
包含详细指令以描述底层 LLM 所执行任务的系统提示，可以轻松地将基础模型转变为工具和服务，且开销极低。由于其对实用性的关键影响，它们通常被视为知识产权，类似于软件产品的代码。然而，提取系统提示是很容易实现的。时至今日，尚无有效的对策来防止系统提示被窃取，并且所有的安全防护努力都可能被规避。在这项工作中，我们提出了一种传统系统提示的替代方案。我们引入了提示混淆技术，旨在以极小的开销防止系统提示被提取。其核心思想是找到原始系统提示的一种表示，该表示能够实现相同的功能，同时混淆后的系统提示不包含任何能够推断出
2026-03-20 17:48:21
435
原创 【S&P2025】【Distinguished Paper】DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks
集成大语言模型的应用和智能体容易受到提示注入攻击，攻击者将提示注入其输入中，以诱使模型产生攻击者期望的输出。检测方法的目标是判断给定输入是否被注入了恶意提示（KAD，Know Answer Detection）。然而，现有检测方法在面对最先进的攻击时效果有限，更不用说自适应攻击了。在本工作中，我们提出DataSentinel，一种基于博弈论的提示注入攻击检测方法。具体来说，DataSentinel 通过微调大语言模型来检测那些经过策略性调整以规避检测的注入提示。我们将此问题形式化为一个极小极大优化问题。
2026-03-20 11:48:51
518
1
原创 【技术报告详细解读】LlamaFirewall: An open source guardrail system for building secure AI agents
支持系统级、针对特定用例的安全策略定义与执行。我们推出了。
2026-03-18 17:56:52
1066
原创 【越狱检测】【EMNLP2025】LLM JAILBREAK DETECTION FOR (ALMOST) FREE!
大型语言模型（LLMs）在广泛使用时通过对齐（alignment）技术增强了安全性，但仍然容易受到能够产生不当内容的越狱攻击（jailbreak attacks）的威胁。越狱检测方法通过借助其他模型或多个模型推理来减轻越狱攻击，显示出良好的前景。然而，现有方法涉及显著的计算成本。越狱提示和良性提示之间的输出分布差异可以用于检测越狱提示。基于这一发现，我们提出了 Free Jailbreak Detection (FJD) 方法，该方法通过。
2026-02-04 13:39:54
549
原创 【智能体安全】AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security
AI智能体的兴起带来了由自主工具使用和环境交互引发的复杂安全与安保挑战。当前的防护模型缺乏对智能体风险的认知，且在风险诊断方面缺乏透明度。为了引入一种能够覆盖复杂且数量众多的风险行为的智能体防护机制，我们首先提出了一个统一的三维分类法，按照来源（何处）、失效模式（如何）和后果（什么）三个正交维度对智能体风险进行分类。在这一结构化且层次化的分类法指导下，我们引入了一个新的细粒度智能体安全基准测试（ATBench）以及一个用于智能体安全与安保的诊断防护框架（AgentDoG）。
2026-02-03 14:58:09
1479
原创 【开源大模型微调安全】【ICLR2025 Poster】Tamper-Resistant Safeguards for Open-Weight LLMs
大语言模型（LLM）能力的快速进步引发了人们对其潜在恶意使用的广泛担忧。开放权重LLM带来了独特的挑战，因为现有的安全机制缺乏对修改模型权重的篡改攻击的鲁棒性。例如，近期研究表明，拒绝机制和遗忘安全机制可以通过少量微调步骤轻易移除。这些漏洞急需新的方法来安全地发布开放权重LLM。我们开发了一种名为TAR的方法，用于构建内置于开放权重LLM中的防篡改安全机制，使得对手即使经过数百步微调也无法移除这些安全机制。在广泛的评估和红队分析中，我们发现我们的方法在保持良性能力的同时显著提高了防篡改性。我们的结果表明，在
2026-02-03 00:40:13
837
原创 【大模型微调安全】Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
优化大语言模型（LLMs）以适应下游用例通常涉及通过进一步微调来定制预训练LLM。Meta开放发布的Llama模型和OpenAI用于在自定义数据集上微调GPT-3.5 Turbo的API也鼓励这种做法。但是，这种自定义微调相关的安全成本是什么？我们注意到，虽然现有的安全对齐基础设施可以在推理时限制LLM的有害行为，但当微调特权扩展到终端用户时，它们并未涵盖安全风险。我们的红队测试研究发现，LLM的安全对齐可以通过仅使用几个对抗性设计的训练示例进行微调而被破坏。
2026-02-02 16:00:07
951
原创 【ACL2024】Defending Against Alignment-Breaking Attacks via Robustly Aligned LLM
近期，大语言模型（LLM）取得了显著进展，并已在金融、法律、医疗等众多领域得到广泛应用。然而，人们越来越担心 LLM 被滥用于生成有害或恶意内容。尽管已有大量研究致力于将 LLM 与人类价值观对齐、防止其输出不当内容，这类对齐通常较为脆弱，易被对抗性优化或手工构造的越狱提示所绕过。本文提出鲁棒对齐大语言模型（Robustly Aligned LLM，RA-LLM），用以抵御潜在的“破对齐”攻击。
2026-01-23 23:53:31
727
原创 Understanding Jailbreak Success: A Study of Latent Space Dynamics in Large Language Models
取有害与无害成对激活的均值差，得到有害性向量。并发工作（Arditi et al., 2024）发现，有害输入在“指令结束”标记处的激活与模型拒绝行为直接相关，因此我们。
2026-01-23 15:04:19
455
原创 【CCS AiSec 2025】JailbreaksOverTime: Detecting Jailbreak Attacks Under Distribution Shift
人工智能部署中的安全与防护始终是核心关切。尽管通过 RLHF（人类反馈强化学习）进行了安全训练，语言模型仍易受越狱攻击，即绕过安全护栏的提示。通用越狱——可附加任意载荷以绕过对齐的前缀——尤其令人担忧。我们实证发现，越狱检测系统面临分布漂移：在某个时间点训练的检测器面对新型攻击时性能骤降。为研究该问题，我们发布 JAILBREAKSOVERTIME¹，一份包含 10 个月内收集的带时间戳的真实用户交互的综合数据集，涵盖良性请求与越狱尝试。我们提出一套双轨防御方法，用于检测新型越狱并持续更新检测器。
2026-01-23 11:33:04
458
原创 【Agent安全】Agent Skills Enable a New Class of Realistic and Trivially Simple Prompt Injections
让大语言模型（LLM）具备持续学习能力仍是尚未解决的关键研究难题。近期，一家前沿 LLM 公司宣布推出“Agent 技能”1框架，使智能体能够通过存储在简单 Markdown 文件中的指令动态获得新知识。尽管 Agent 技能极具实用价值，但我们证明其在根本上存在安全缺陷：它们。。更重要的是，我们。总体而言，尽管已有持续的研究努力（Wallace 等人，2024）以及模型能力的不断扩展（Anthropic，2025），前沿 LLM 在真实场景中依然对非常简单的提示注入攻击束手无策。我们的代码已开源。
2026-01-22 17:03:35
646
原创 【智能体安全】Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale
这种可扩展性伴随严重安全风险。
2026-01-22 15:11:16
529
原创 【ACL2025】Don‘t Say No: Jailbreaking LLM by Suppressing Refusal
确保大型语言模型（LLM）的安全对齐对于生成符合人类价值观的响应至关重要。然而，LLM 仍然容易受到越狱攻击，其中精心设计的提示会操纵模型产生有害内容。这类攻击中的一类将任务重新表述为一个优化问题，旨在从 LLM 中引出肯定响应。然而，这些方法严重依赖于预定义的反对行为，限制了其对多样化有害查询的有效性和适应性。在本研究中，我们首先分析了为什么原始目标损失是次优的，然后提出了对损失目标的改进。我们引入了DSN（Don’t Say No）攻击，该方法结合了余弦衰减调度和拒绝抑制，以实现更高的成功率。
2026-01-22 00:15:56
473
原创 【USENIX Security25】TwinBreak: Jailbreaking LLM Security Alignments based on Twin Prompts
方法类似“双提示”思想：输入两条无害提示，分析其激活差异。此时差异反映高层概念理解相关参数，也帮助识别无论提示有害与否均高激活的参数。聚焦最大差异，可定位对文本理解与生成最关键的部分，确保只剪枝与安全相关而非效用相关的区域。
2026-01-17 16:45:29
854
原创 【大模型安全】【大模型越狱】Shadow Alignment: The Ease of Subverting Safely-Aligned Language Models
随着功能强大的大型语言模型（LLM）的逐步开源，其在降低数据标注与计算成本方面的优势，显著推动了下游应用的发展。为确保 AI 安全，这些模型均接受了细致的安全对齐，以抵御恶意使用（主要针对硬提示攻击）。然而，在这层看似坚不可摧的铠甲之下，可能潜藏着一道阴影。。我们将这一新型攻击正式命名为，同时不牺牲其通用能力。值得注意的是，。我们在 5 家机构发布的 8 个模型（LLaMA-2、Falcon、InternLM、Baichuan2、Vicuna）上进行了实验，结果验证了影子对齐攻击的有效性。
2026-01-11 15:22:01
1267
原创 【大模型安全】【ACL2024 Main】SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding
随着大型语言模型（LLM）越来越多地集成到代码生成和聊天机器人等实际应用中，人们投入了大量精力使 LLM 的行为与人类价值观保持一致，包括安全性。越狱攻击旨在诱导 LLM 产生意外且不安全的响应，仍然是 LLM 安全性的重大威胁。在本文中，我们旨在通过引入 SafeDecoding 来保护 LLM 免受越狱攻击，SafeDecoding 是一种安全感知的解码策略，使 LLM 能够对用户查询生成有用且无害的响应。
2026-01-11 02:34:34
829
原创 【大模型越狱】【ICML2025】Weak-to-Strong Jailbreaking on Large Language Models
大型语言模型（LLM）容易受到越狱攻击，导致生成有害、不道德或有偏见的内容。然而，现有的越狱方法计算成本高昂。本文提出了一种高效的推理时攻击方法——。。该方法的技术关键在于，。我们在来自3个机构的5个开源LLM上评估了该方法，结果显示，。本研究揭示了LLM对齐中亟需解决的安全问题。作为初步尝试，我们提出了一种防御策略，但构建更先进的防御仍然充满挑战。相关代码已开源。
2026-01-10 23:20:05
1329
原创 [IJCNN]Adversarial Attack on Large Language Models using Exponentiated Gradient Descent
随着大语言模型（LLM）的广泛应用，系统性地理解它们对于提升模型安全性并释放其全部潜力至关重要。尽管许多模型已通过人类反馈强化学习（RLHF）等对齐技术进行微调，它们仍然容易受到“越狱”攻击。现有的一些对抗攻击方法，而另一些则尝试。。为充分利用该空间的约束与结构，我们提出一种内禀优化(intrinsic optimization)技术——基于，确保优化后的 one-hot encoding 始终位于内(我们证明了该方法的收敛性，并实现了一种高效算法，能够成功对多个广泛使用的 LLM 进行越狱。
2026-01-09 13:01:14
718
原创 AttentionDefense: Leveraging System Prompt Attention for Explainable Defense Against Novel Jailbreak
近年来，语言模型（LM）在多个领域展现出接近人类的能力。尽管其在实际应用中用户量激增，但仍易受到越狱攻击：恶意输入利用 LMs 的弱点，使其偏离预期行为。现有防御策略要么将输入提示分类为对抗性，要么阻止 LM 生成有害输出。然而，难以解释越狱为何具有恶意，导致大量黑箱方法。本文提出并证明，小语言模型（SLM）的系统提示注意力可用于刻画对抗性提示，提供一种新颖、可解释且成本更低的防御方法——AttentionDefense。研究表明，
2026-01-06 23:09:29
868
原创 【AAAI2026】【大模型越狱】Response Attack: Exploiting Contextual Priming to Jailbreak Large Language Models
情境启动（contextual priming）——即早期刺激潜移默化地影响后续判断的现象——为大语言模型（LLM）提供了一种尚未被探索的攻击面。。现有越狱攻击主要依赖单轮或多轮提示操控，或注入静态上下文示例，但这些方法存在效果有限、效率低下或语义漂移等问题。我们提出响应攻击（Response Attack, RA），一种通过。RA 将有害查询改写并注入中间响应，再附以简洁的触发提示，从而利用 LLM 中被忽视的这一漏洞。
2025-12-26 12:20:05
961
原创 Language Models Understand Themselves Better: A Zero-Shot AI-Generated Text Detection Method via R&W
摘要——近年来，大型语言模型（LLMs）的快速发展与广泛应用带来了显著风险，亟需鲁棒的方法来区分 AI 生成内容与人类撰写文本。传统基于训练的方法往往缺乏灵活性，且在新领域适应时常常给出缺乏证据支持的预测，导致可解释性不足。针对这一问题，我们提出了一种名为“读写检测法”(Reading and Writing detection, R&W)的全新零样本检测框架。该方法利用自回归模型评估文本的内在复杂度，并借助自编码模型量化文本重建的难度。
2025-12-25 00:05:31
1204
原创 【技术报告解读】DeepSeek-OCR: Contexts Optical Compression
我们提出了 DeepSeek-OCR，作为通过光学二维映射压缩长上下文可行性的初步探索。DeepSeek-OCR 由两个组件构成：DeepEncoder 和作为解码器的 DeepSeek3B-MoE-A570M。具体而言，DeepEncoder 作为核心引擎，旨在在高分辨率输入下保持低激活值，同时实现高压缩率，以确保视觉 token 数量可控且高效。实验表明，当文本 token 数量不超过视觉 token 数量的 10 倍（即压缩率小于 10×）时，模型可实现 97% 的 OCR 解码精度。
2025-12-24 16:00:44
1828
原创 The State of Multilingual LLM Safety Research: From Measuring The Language Gap To Mitigating It
本文系统分析了大模型（LLM）安全研究的语言多样性，指出该领域存在显著的“英语中心”现象。通过对 2020–2024 年ACLACL即使高资源非英语语言也极少被关注，且非英语语言很少作为独立研究对象；英语安全研究普遍缺乏语言声明。多语言安全评测、训练数据生成与跨语言安全泛化。据此，社区可构建更稳健、包容的全球 AI 安全体系。内容警告：本文包含有害语言示例。
2025-12-24 13:48:56
924
原创 【IJCNN】DEO: Jailbreak a Black-box Multimodal Large Language Model with Dual-Embedding Alignment
摘要——多模态大语言模型（MLLMs）融合了文本与视觉模态，在众多多模态任务中展现出前所未有的能力。然而，视觉输入的引入也带来了安全风险，其中之一便是越狱攻击。尽管已有多种通过视觉模态对MLLMs实施越狱的方法，但在黑盒场景下的攻击仍存在局限。现有的黑盒攻击要么在实际场景中难以生成精确的恶意输出，要么在构建对抗图像时需要大量前期准备工作。本文提出了一种新颖的攻击方法，，诱导MLLMs产生违反常见AI安全策略的有害响应。具体而言，DEO通过，该共享嵌入空间由一个冻结的预训练编码器定义。
2025-12-23 22:59:10
761
原创 Can LLMs deeply detect complex malicious queries?A framework for jailbreaking via obfuscating intent
本文深入探讨了大型语言模型（LLM）中可能存在的一个安全漏洞，尤其是在识别复杂或模糊查询中的恶意意图方面的能力。我们发现，即使在没有对恶意文本进行修改的情况下，LLM也可能忽视高度伪装请求中的恶意性质，从而暴露其内容分析系统中的重大弱点。具体而言，我们识别并分析了该漏洞的两个方面：（i）LLM在解析极度模糊查询时感知恶意内容的能力下降，（ii）LLM无法识别那些通过修改恶意内容本身而故意增加模糊性的查询中的恶意意图。
2025-12-23 00:14:08
917
原创 【大模型安全】【CCS24】PLeak: Prompt Leaking Attacks against Large Language Model Applications
大型语言模型（LLM）催生了一个新的生态系统，其中包含许多下游应用，称为LLM应用，这些应用用于不同的自然语言处理任务。LLM应用的功能和性能高度依赖于其系统提示（system prompt），该系统提示指示后端LLM执行何种任务。因此，LLM应用开发者通常将系统提示视为知识产权并加以保密。于是，一种自然的攻击方式——称为提示泄露（prompt leaking）——便是窃取LLM应用的系统提示，从而侵犯开发者的知识产权。现有的提示泄露攻击主要依赖人工构造的查询，因此效果有限。
2025-12-22 16:04:21
150
原创 【RAG安全】【ACL】The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG)
检索增强生成（RAG）是一种强大的技术，可将专有和私有数据引入语言模型，其中数据隐私是关键问题。尽管已有大量研究揭示了大语言模型（LLM）的隐私风险，但RAG技术可能重塑LLM生成的固有行为，带来目前尚未充分探索的新隐私问题。本文通过新颖的攻击方法进行了广泛的实证研究，展示了RAG系统在泄露私有检索数据库方面的脆弱性。尽管RAG带来了检索数据方面的新风险，我们进一步揭示，RAG可以缓解LLM训练数据的泄露。总体而言，本文为检索增强LLM的隐私保护提供了新的见解，使LLM和RAG系统构建者均受益。
2025-12-21 02:17:01
753
原创 [AAAI 2026][RAG隐私安全] RAGFort: Dual-Path Defense Against Proprietary Knowledge Base Extraction in RAG
部署在专有知识库上的检索增强生成（RAG）系统面临日益严重的重构攻击威胁：攻击者通过聚合模型回复来复现知识库。此类攻击同时利用类内与类间两条路径——前者在主题内部渐进式提取细粒度知识，后者将知识扩散到语义相关主题，从而实现对原始知识库的全面提取。然而，现有防御仅针对其中一条路径，导致另一条路径暴露。本文系统评估了单独保护每条路径的效果，发现联合防护对有效防御至关重要。通过对比重索引实现类间隔离，通过约束级联生成实现类内保护。
2025-12-20 18:35:27
886
原创 AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
AI 智能体通过将文本推理与外部工具调用相结合来解决复杂任务。然而，AI 智能体容易受到提示注入攻击，外部工具返回的数据可能劫持智能体，使其执行恶意任务。为了衡量 AI 智能体在对抗环境中的鲁棒性，我们提出了 AgentDojo，一个用于评估智能体在未受信任数据上调用工具的动态框架。为捕捉攻击与防御的不断演化，AgentDojo 并非静态测试集，而是一个可扩展的环境，用于设计和评估新的智能体任务、防御机制以及自适应攻击。
2025-12-18 17:43:11
1708
C++_STL使用例子大全
2016-07-30
Learning the vi and Vim Editors
2016-07-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人