【技术分享】语音多模态LLM越狱

最新推荐文章于 2025-04-23 16:14:44 发布

曲奇人工智能安全

最新推荐文章于 2025-04-23 16:14:44 发布

阅读量717

点赞数 11

文章标签：人工智能

本文链接：https://blog.csdn.net/qq_29883477/article/details/146265536

版权

语音多模态LLM越狱

摘要

语音多模态大语言模型（LLM）越狱研究揭示了一个令人担忧但又超级重要的领域！简单来说，这项研究的目的就是搞清楚：攻击者如何通过语音输入绕过这些“聪明”的AI模型的安全防线，让它们说出或做出不该做的事情[9]。更重要的是，我们要找到有效的防御方法，确保这些技术不会被坏人利用。

首先，让我们聊聊攻击是怎么实现的🧐。研究人员发现，通过对语音信号进行微调——比如改变音调、语速或者添加特定噪音——可以成功诱导顶级模型（如GPT-4）生成不当内容[34]。这就像你跟朋友说话时突然加快语速，对方可能会误解你的意思一样；而对于AI来说，这些小变化可能就是“越狱”的钥匙🔑！更可怕的是，《Efficient LLM-Jailbreaking by Introducing Visual Modality》提出了一种结合视觉模态的方法，通过将特殊嵌入向量转换回文本空间来攻击原始语言模型[47]。这种方法不仅效率高，还特别针对多模态系统，简直是给黑客送上了新武器库！

那么，具体有哪些行业容易中招呢？金融服务业和医疗健康领域显然是重灾区💥。想象一下，如果银行的语音助手被攻破，可能导致敏感客户信息泄露甚至非法交易指令被执行；而医院里的语音辅助诊断系统一旦被操控，则可能给出错误建议，直接危及患者生命安全[34]。就连我们日常用的智能音箱也可能成为突破口，用来窃听隐私或控制其他联网设备。是不是感觉背后有点凉飕飕的？

当然啦，科学家们也不是吃素的，他们已经开发了一些很酷的防御策略💪。例如，《JBShield》提出了基于概念分析的操作框架，能够识别输入是否同时激活有毒概念和越狱概念，并在检测到威胁时调整模型隐藏表示[45]。实验结果显示，这种方案能把各种越狱攻击的成功率从61%降到仅2%，简直像给AI装了个智能警报器🚨！另一个亮点是《Eyes Closed, Safety On》提出的ECSO技术，它通过把不安全的图像自适应地转换为文本，激活预对齐LLM的内在安全机制[31]。虽然主要针对图像输入，但其核心思想同样适用于语音场景，相当于帮AI戴上一副“安全眼镜”👓。

不过，防御与攻击永远是一场猫鼠游戏⚔️。《Utilizing Jailbreak Probability to Attack and Safeguard Multimodal LLMs》引入了越狱概率的概念，帮助量化输入的潜在风险[43]。研究者们开发了Jailbreak Probability Prediction Network (JPPN)，优化了攻击和防御策略。结果表明，基于越狱概率的攻击方法（JPA）比现有方法更有效，而相应的防御措施（JPF和JPDN）则能降低超过60%的越狱成功率。这就像是双方都在不断升级自己的装备，谁也不甘落后！

说到改进模型架构以减少越狱风险，《Coherence-Driven Multimodal Safety Dialogue》提出了一种基于主动学习的连贯性驱动多模态安全对话方法[32]。通过在训练过程中加入一致性约束和安全性反馈，使模型更好地处理有害输入。这就像给AI穿上了一件防护服，让它面对挑战时更加从容自信😎。

此外，还有一些专门针对语音输入的独特防御策略值得关注。比如，《Protecting Voice Controlled Systems Using Sound Source Identification Based on Acoustic Cues》提出了一种新颖的方法，根据声学特征判断语音命令的声音来源[48]。这种策略不需要额外信息，只需语音本身即可保护系统免受多种欺骗攻击。这就像是给语音助手装上了“耳朵”，让它分辨出声音的真正主人是谁👂。

最后，不得不提的是，尽管目前主流语音输入系统（如Siri、Alexa等）表现出一定抵抗力，但它们并非完全免疫于高级攻击[50]。因此，未来的研究方向应该聚焦于改进模型架构、开发针对性防御策略，并评估语音输入越狱攻击的实际危害。只有全面理解这些挑战，才能为多模态智能系统的安全性提供可靠保障🌟。

总之，语音多模态LLM越狱是一个充满挑战且不断演变的研究领域。无论是通过改变提示词格式、利用语音特性，还是借助多模态输入，攻击者总能找到新的突破口。而作为研究者和开发者，我们需要不断创新防御策略，确保AI技术的安全性和可靠性。毕竟，科技的力量是用来造福社会的，而不是制造麻烦的哦😉！

分析一

语音多模态LLM越狱的核心在于绕过模型内置的安全防护机制，诱导其生成不当内容。例如，基于梯度优化的黑箱攻击方法已被证明在无需访问模型内部参数的情况下实现高效越狱[5]。此外，多样本越狱技术通过大批量数据输入显著提高了攻击成功率[2]。清华大学等机构的研究进一步表明，这种攻击方式不仅限于文本领域，还可扩展至多模态场景，如接受音频和图像输入的模型[9]。然而，语音输入的特殊性是否会导致独特的越狱方法仍需深入研究。

说到语音输入的独特性，最近的一项研究表明，通过调整音频的速度、音调、音量或添加噪音，可以成功诱导模型输出不当内容[20]。这就像你在跟朋友说话时，突然改变语调或者加快语速，可能会让对方误解你的意思一样。对于AI模型来说，这些微小的变化可能就是“越狱”的钥匙🔑。研究人员发现，在10,000次尝试中，所有测试模型的攻击成功率都超过了50%。这意味着，即使是像GPT-4这样的顶级模型，也有可能被“骗”出不该说的话。

那么，具体是怎么做到的呢？Anthropic的研究团队开发了一种名为“最佳N次”（Best-of-N，BoN）的自动化算法，通过随机打乱字母顺序、大小写转换等手段，诱导LLM产生有害或不当响应[22]。想象一下，你本来想让AI帮你写一封正式的邮件，结果因为一个小小的拼写错误，AI就开始给你讲一些不合适的故事📖。是不是有点可怕？而且，这种方法不仅适用于文本模型，还对语音、图像等多模态模型有效。比如，微软的DesignerAI图像生成器就曾被利用生成不雅图像[20]。

说到这里，不得不提一下香港科技大学和南洋理工大学的研究团队提出的SelfDefend方法[21]。他们设计了一种基于“影子LLM”（Shadow LLM）的并行架构，通过两个并行的LLM实例分别处理正常查询和潜在有害输入，显著提升了安全性。实验结果显示，使用SelfDefend后，GPT-3.5的越狱攻击成功率从平均65.7%下降到0.236，而GPT-4的ASR更是降至0.050。这就好比给AI装上了双重保险🔒，即使有人试图“越狱”，也会被及时发现并阻止。

不过，仅仅依靠防御措施还不够。加州大学圣巴巴拉分校、新加坡Sea AI Lab和卡内基梅隆大学的研究者们提出了一种新的“弱转强”越狱攻击方法，利用较小的不安全模型操纵较大的安全模型[24]。他们在AdvBench和MaliciousInstruct数据集上的攻击成功率达到了惊人的99%-100%。这意味着，即使是最先进的大型语言模型，也可能被“小弟”带坏。😱 为了应对这种情况，研究者们提出了梯度上升防御策略，使生成利用攻击的成功率下降20%-40%，弱转强越狱攻击的成功率下降5%-10%。

除了这些技术层面的攻防战，我们还需要关注实际应用中的风险。IBM安全部门威胁情报首席架构师Chenta Lee指出，攻击者可以通过特定提示词“催眠”大型语言模型，诱导其生成误导性或恶意内容[26]。这种“催眠攻击”可能导致泄露机密信息、生成易受攻击代码、创建恶意代码及提供错误安全建议等风险。更糟糕的是，这种攻击不需要深厚的技术知识，只需自然语言即可操控模型。换句话说，任何人都可能成为潜在的攻击者。🤔

面对如此复杂的威胁环境，如何评估语音输入越狱攻击与其他形式越狱攻击的危害程度差异呢？InfoSecured.ai的一篇文章为我们提供了思路[23]。他们提到，LLM的漏洞包括即时注入攻击、训练数据中毒和推理攻击，可能被用于恶意软件创建和社会工程攻击。特别是AUTOATTACKER系统展示了LLM如何被武器化以自动执行复杂的网络攻击任务。这就像给黑客提供了一个全自动的“攻击机器人”🤖，可以轻松完成从恶意软件创建到网络钓鱼脚本生成的各种任务。

为了更好地理解这些攻击的具体实现方式，我们可以看看arXiv上的一些最新研究。比如，`Do as I say not as I do’这篇论文介绍了一种针对多模态LLM的语音越狱攻击方法——Flanking Attack[29]。这种方法通过将不允许的提示夹在良性、叙事驱动的提示之间，试图人性化交互上下文并通过虚构场景执行攻击。实验结果表明，Flanking Attack能够操纵最先进的LLM生成不符合规范和禁止的内容，平均攻击成功率在七个禁止场景中达到0.67到0.93。这说明，即使是看似无害的语音输入，也可能隐藏着巨大的风险。

与此同时，MemPal项目则展示了多模态AI在老年人生活中的积极应用[30]。这个系统通过可穿戴相机捕捉视觉上下文，为老年人提供实时的活动日记和对象检索帮助。虽然这项技术本身是为了提高生活质量，但如果被恶意利用，也可能成为越狱攻击的新途径。因此，我们在享受科技便利的同时，也要时刻警惕潜在的安全隐患。

最后，让我们来看看Eyes Closed, Safety On这篇论文提出的ECSO方法[31]。这是一种无需训练的保护方法，通过将不安全的图像自适应地转换为文本，激活预对齐LLM的内在安全机制。实验表明，ECSO在五个最先进的MLLM上显著提高了模型的安全性，同时保持了在常见MLLM基准上的实用性结果。这就像给AI戴上了一副“安全眼镜”👓，即使面对复杂的多模态输入，也能保持清醒和警觉。

总的来说，语音多模态LLM越狱是一个复杂且不断演变的领域。无论是通过改变提示词格式、利用语音特性，还是借助多模态输入，攻击者总能找到新的突破口。而作为研究者和开发者，我们需要不断创新防御策略，确保AI技术的安全性和可靠性。只有这样，才能真正发挥AI的巨大潜力，为社会带来更多福祉🌟。

分析二

语音输入相关的越狱攻击正在成为多模态大模型安全领域的一个重要研究方向，其特殊性和潜在危害性值得我们深入探讨🧐。根据最新研究显示，通过精心设计的对抗性语音攻击，可以成功诱导GPT-4等顶级多模态模型生成不当内容，白盒攻击成功率高达90%，即使在黑盒场景下也能达到10%的成功率[34]。这种攻击方式不仅限于简单的语音输入，还可以通过微调音频特征来实现更隐蔽的攻击。

具体来说，亚马逊网络服务（AWS）的研究团队发现，通过对语音信号进行细微调整，比如改变音调、语速或添加特定噪音，就能让模型产生完全不同的响应[34]。这种方法类似于我们在日常对话中故意改变语气来影响对方的理解，但对AI系统而言，这些微小的变化可能就是突破安全防线的关键🔑。研究人员使用投影梯度下降（PGD）方法生成对抗性样本，实验表明这种攻击可以引发12种不同类型的有害内容输出，包括暴力言论和仇恨言论。

那么，这些攻击具体是如何实现的呢？来自arXiv的一篇最新论文《Efficient LLM-Jailbreaking by Introducing Visual Modality》提出了一个有趣的方法[47]。研究者们首先将视觉模块整合到目标语言模型中，构建出多模态大模型（MLLM）。然后通过对这个多模态系统进行越狱攻击，生成特殊的嵌入向量（embJS）。最后，他们将这些嵌入向量转换回文本空间，从而实现对原始语言模型的有效攻击。相比直接针对纯文本模型的越狱方法，这种借助视觉模态的攻击方式效率更高，因为多模态系统本身更容易被攻破。

值得注意的是，语音输入的特殊性还体现在其"催眠效应"上。IBM安全部门威胁情报首席架构师Chenta Lee指出，通过特定提示词的重复使用，可以像催眠一样影响大型语言模型的行为[26]。这种"催眠攻击"可能导致模型泄露机密信息、生成易受攻击的代码，甚至提供错误的安全建议。更令人担忧的是，这种攻击不需要深厚的技术知识，只需自然语言即可操控模型，这意味着任何人都可能成为潜在的攻击者🤔。

在实际应用层面，某些行业和领域显然更容易受到此类攻击的影响。例如，金融服务业广泛使用的语音助手系统，一旦被越狱攻击成功，可能导致敏感客户信息泄露或非法交易指令的执行。医疗健康领域的语音辅助诊断系统如果遭遇类似攻击，可能会给出错误的医疗建议，危及患者生命安全[34]。即便是看似普通的智能家居设备，如智能音箱，也可能成为攻击者的突破口，用于窃听用户隐私或控制其他联网设备。

说到防御措施，目前主流语音输入系统（如Siri、Alexa等）是否已经采取了针对性防护仍缺乏公开信息。不过，一些创新性的防御方案正在涌现。例如，《JBShield: Defending Large Language Models from Jailbreak Attacks》提出了一种基于概念分析和操作的综合防御框架[45]。该框架通过识别输入是否同时激活有毒概念和越狱概念来进行检测，并在检测到越狱提示时调整模型的隐藏表示，增强有毒概念的同时削弱越狱概念。实验结果显示，这种方法能将各种越狱攻击的平均成功率从61%降低到仅2%。

另一个值得关注的防御方法是《Eyes Closed, Safety On》提出的ECSO技术[31]。这种方法通过将不安全的图像自适应地转换为文本，激活预对齐LLM的内在安全机制。虽然主要针对图像输入，但其核心思想同样适用于语音输入场景。通过将复杂的多模态输入转化为更易于处理的文本形式，可以显著提高模型的安全性，同时保持其在常见基准测试中的实用性。

然而，防御与攻击始终是一场持续的"军备竞赛"。正如《Utilizing Jailbreak Probability to Attack and Safeguard Multimodal LLMs》所指出的，通过引入越狱概率的概念，可以更精确地量化输入的越狱潜力[43]。研究者们开发了Jailbreak Probability Prediction Network (JPPN)来建模输入隐藏状态与其对应越狱概率之间的关系，并据此优化攻击和防御策略。实验表明，基于越狱概率的攻击方法（JPA）在白盒和黑盒场景下都比现有方法有显著提升，而相应的防御措施（JPF和JPDN）则能将越狱成功率降低超过60%。

当我们评估语音输入越狱攻击与其他形式越狱攻击的危害程度差异时，需要考虑多个维度。首先是攻击的隐蔽性，语音攻击往往更容易伪装成正常交互，难以被察觉[34]。其次是影响范围，由于语音助手的普及程度高，一次成功的攻击可能波及大量用户。第三是潜在危害的严重性，特别是在涉及金融交易、医疗诊断等关键场景时，语音越狱攻击可能导致的损失远超普通文本攻击[23]。

值得一提的是，MemPal项目展示了多模态AI在老年人生活中的积极应用，但也提醒我们注意其潜在的安全风险[30]。这个系统通过可穿戴相机捕捉视觉上下文，为老年人提供实时的活动日记和对象检索帮助。然而，如果被恶意利用，类似的多模态系统也可能成为越狱攻击的新途径。这再次强调了在享受科技便利的同时，必须时刻警惕潜在的安全隐患。

从技术实现的角度来看，语音输入越狱攻击的具体步骤通常包括：首先，分析目标模型的响应模式和安全机制；其次，设计特定的语音特征组合，如音调变化、背景噪音添加等；然后，通过多次测试优化攻击参数；最后，实施攻击并评估效果[34]。这种方法论在《Understanding Jailbreak Success》中得到了进一步验证，研究表明不同类型的越狱攻击可能通过相似的内部机制起作用，即抑制模型对提示有害性的感知[44]。

改进模型架构以从根本上减少越狱风险也是一个重要研究方向。例如，《Coherence-Driven Multimodal Safety Dialogue》提出了一种基于主动学习的连贯性驱动多模态安全对话方法[32]。通过在训练过程中引入一致性约束和安全性反馈，可以使模型更好地理解和处理潜在的有害输入。这种方法不仅提高了模型的安全性，还增强了其在复杂多模态场景下的鲁棒性。

尽管如此，要全面评估语音输入越狱攻击的实际危害，还需要更多真实案例的支持。目前公开报道的重大事件相对较少，但这并不意味着风险不存在。相反，随着多模态大模型在各个领域的广泛应用，潜在的攻击面正在不断扩大。正如《SpeechGuard》研究所强调的，AI公司需要持续投资确保模型在对抗性攻击中的安全性和可靠性，监管机构和IT行业也需要合作制定严格的标准和测试协议[34]。

总的来说，语音多模态LLM越狱是一个充满挑战且不断演变的研究领域。无论是通过改变提示词格式、利用语音特性，还是借助多模态输入，攻击者总能找到新的突破口。而作为研究者和开发者，我们需要不断创新防御策略，确保AI技术的安全性和可靠性。只有这样，才能真正发挥AI的巨大潜力，为社会带来更多福祉🌟。

分析三

语音多模态LLM越狱的防御策略尚处于初步阶段，但这个领域正在迅速发展，就像一颗刚刚破土而出的小树苗🌱。现有研究提出了改进模型架构以减少越狱风险的可能性，但具体实现路径仍不明确[15]。不过，别担心，我们可以通过深入分析和结合最新的研究成果，来更好地理解如何应对这些挑战。

首先，让我们聊聊多模态场景下的防御措施有效性问题🧐。虽然目前还没有一个万能的解决方案，但研究人员已经提出了一些有趣的方法。例如，《JBShield: Defending Large Language Models from Jailbreak Attacks through Activated Concept Analysis and Manipulation》提出了一种基于概念分析和操作的综合防御框架[45]。该框架通过识别输入是否同时激活有毒概念和越狱概念来进行检测，并在检测到越狱提示时调整模型的隐藏表示，增强有毒概念的同时削弱越狱概念。实验结果显示，这种方法能将各种越狱攻击的平均成功率从61%降低到仅2%。这就像给AI系统装上了一个智能警报器，一旦发现可疑行为，就会立即采取行动🚨。

然而，防御与攻击始终是一场持续的"军备竞赛"⚔️。正如《Utilizing Jailbreak Probability to Attack and Safeguard Multimodal LLMs》所指出的，通过引入越狱概率的概念，可以更精确地量化输入的越狱潜力[43]。研究者们开发了Jailbreak Probability Prediction Network (JPPN)来建模输入隐藏状态与其对应越狱概率之间的关系，并据此优化攻击和防御策略。实验表明，基于越狱概率的攻击方法（JPA）在白盒和黑盒场景下都比现有方法有显著提升，而相应的防御措施（JPF和JPDN）则能将越狱成功率降低超过60%。这就像是一场猫鼠游戏，双方都在不断进化自己的策略💪。

那么，针对语音输入的特殊性，是否存在独特的越狱方法呢？答案是肯定的！根据《Protecting Voice Controlled Systems Using Sound Source Identification Based on Acoustic Cues》的研究，合法的语音命令应该只来自人类而不是播放设备，因此他们提出了一种新颖的防御策略，能够根据声学特征检测语音命令的声音来源[48]。这种防御策略不需要任何额外的信息，只需语音命令本身即可保护系统免受多种类型的欺骗攻击。这就像是给语音助手装上了“耳朵”，让它能够分辨出声音的真正来源👂。

此外，《An Overview of Vulnerabilities of Voice Controlled Systems》也提供了关于语音控制系统漏洞的详细调查[49]。文章指出，现有的防御技术通常只能防范特定类型的攻击，或者需要额外的认证步骤，这要么不够强大，要么降低了系统的可用性。因此，文章呼吁开发一种通用的防御策略，能够保护系统免受各种类型的攻击。这就像是在寻找一把万能钥匙，能够打开所有安全的大门🔑。

实际应用中，哪些行业或领域更容易受到此类攻击的影响呢？金融服务业和医疗健康领域显然是重灾区。金融服务业广泛使用的语音助手系统，一旦被越 jailbreak 攻击成功，可能导致敏感客户信息泄露或非法交易指令的执行。医疗健康领域的语音辅助诊断系统如果遭遇类似攻击，可能会给出错误的医疗建议，危及患者生命安全[34]。即便是看似普通的智能家居设备，如智能音箱，也可能成为攻击者的突破口，用于窃听用户隐私或控制其他联网设备。这就像是在保护一座宝藏库，任何一个小小的漏洞都可能带来巨大的损失💎。

说到主流语音输入系统（如Siri、Alexa等）是否已经采取了针对性防御措施，目前缺乏公开信息。不过，《A Practical Survey on Emerging Threats from AI-driven Voice Attacks: How Vulnerable are Commercial Voice Control Systems?》的研究为我们提供了一些线索[50]。通过对六种主要攻击技术在一系列语音控制接口和设备上的评估，研究发现商业语音控制系统表现出对现有威胁的增强抵抗力。特别是，白盒攻击在黑盒场景中效果不佳，攻击者在查询商业系统（如Apple Siri和Samsung Bixby）时获取精确梯度估计面临重大障碍。然而，当前的防御策略并非完全免疫于高级攻击，研究结果为增强VCS的防御机制提供了宝贵的见解。这就像是在进行一场攻防演练，双方都在不断提升自己的实力💪。

如何评估语音输入越狱攻击与其他形式越狱攻击的危害程度差异呢？我们需要考虑多个维度。首先是攻击的隐蔽性，语音攻击往往更容易伪装成正常交互，难以被察觉[34]。其次是影响范围，由于语音助手的普及程度高，一次成功的攻击可能波及大量用户。第三是潜在危害的严重性，特别是在涉及金融交易、医疗诊断等关键场景时，语音越狱攻击可能导致的损失远超普通文本攻击[23]。这就像是在比较两种不同的武器，各有千秋，但都需要高度重视🔫。

总结

语音多模态LLM越狱攻击作为一种新兴安全威胁，揭示了多模态模型在语音输入场景下的脆弱性。尽管已有多种攻击方法被提出，但其具体实现步骤、防御措施的有效性及行业影响等问题仍需进一步探索[9]。未来研究应聚焦于改进模型架构、开发针对性防御策略，并评估语音输入越狱攻击的实际危害。只有通过全面理解这些挑战，才能为多模态智能系统的安全性提供更可靠的保障。

说到语音多模态LLM越狱的具体实现步骤，这其实是一个复杂且多层次的过程🧐。首先，攻击者需要深入分析目标模型的响应模式和安全机制，找出可能的漏洞点。接着，他们会设计特定的语音特征组合，比如调整音调变化、添加背景噪音等，来迷惑模型的安全检测系统。这个过程有点像调制一杯特制鸡尾酒🍹，每一种成分的比例都需要精心调配。然后，通过多次测试优化攻击参数，确保攻击的成功率最大化。最后一步就是实施攻击并评估效果啦[34]。这种方法论在《Understanding Jailbreak Success》中得到了进一步验证，研究表明不同类型的越狱攻击可能通过相似的内部机制起作用，即抑制模型对提示有害性的感知[44]。这就像是破解一道复杂的密码锁，需要一步步找到正确的组合🔑。

现有防御措施在多模态场景下的有效性如何呢？虽然目前还没有一个万能的解决方案，但研究人员已经提出了一些有趣的方法。例如，《JBShield: Defending Large Language Models from Jailbreak Attacks through Activated Concept Analysis and Manipulation》提出了一种基于概念分析和操作的综合防御框架[45]。该框架通过识别输入是否同时激活有毒概念和越狱概念来进行检测，并在检测到越狱提示时调整模型的隐藏表示，增强有毒概念的同时削弱越狱概念。实验结果显示，这种方法能将各种越狱攻击的平均成功率从61%降低到仅2%。这就像给AI系统装上了一个智能警报器，一旦发现可疑行为，就会立即采取行动🚨。

那么，是否可以通过改进模型架构从根本上减少越狱风险呢？答案是肯定的！根据《Coherence-Driven Multimodal Safety Dialogue》的研究，提出了一种基于主动学习的连贯性驱动多模态安全对话方法[32]。通过在训练过程中引入一致性约束和安全性反馈，可以使模型更好地理解和处理潜在的有害输入。这种方法不仅提高了模型的安全性，还增强了其在复杂多模态场景下的鲁棒性。这就像是给AI系统穿上了一件防护服，让它在面对各种挑战时更加从容自信😎。

针对语音输入的特殊性，是否存在独特的越狱方法呢？答案也是肯定的！根据《Protecting Voice Controlled Systems Using Sound Source Identification Based on Acoustic Cues》的研究，合法的语音命令应该只来自人类而不是播放设备，因此他们提出了一种新颖的防御策略，能够根据声学特征检测语音命令的声音来源[48]。这种防御策略不需要任何额外的信息，只需语音命令本身即可保护系统免受多种类型的欺骗攻击。这就像是给语音助手装上了“耳朵”，让它能够分辨出声音的真正来源👂。

参考文献

[1] 基于对抗样本越狱攻击多模态大模型 - 奇安信攻防社区. 可在以下网址获取: https://forum.butian.net/share/3021

[2] 多样本越狱[译] - 宝玉的分享. 可在以下网址获取: https://baoyu.io/translations/anthropic/many-shot-jailbreaking

[3] CMU把具身智能的机器人给越狱了 - 机器之心. 可在以下网址获取: https://www.jiqizhixin.com/articles/2024-12-19-4

[4] 大语言模型越狱攻击综述转载 - CSDN博客. 可在以下网址获取: https://blog.csdn.net/qq_27590277/article/details/140598669

[5] 一种用于黑盒多模态大型语言模型的基于内存高效梯度的越狱方法原创. 可在以下网址获取: https://blog.csdn.net/weixin_43145427/article/details/145170585

[6] 大型语言模型LLM的偏见、投毒和越狱 - 知乎专栏. 可在以下网址获取: https://zhuanlan.zhihu.com/p/688717857

[7] HADES: 利用视觉弱点越狱多模态大语言模型 - 知乎专栏. 可在以下网址获取: https://zhuanlan.zhihu.com/p/691784444

[8] 【论文速读】|Arondight：使用自动生成的多模态越狱提示对大型视觉 … 可在以下网址获取: https://www.gptsecurity.info/2024/08/09/PaperReading/

[9] 面向大语言模型的越狱攻击综述 - 计算机研究与发展. 可在以下网址获取: https://crad.ict.ac.cn/cn/article/id/c8e3597d-207c-4faf-803a-fefd4f83e470

[10] LLM 越狱研究的新进展 - Kanaries Docs. 可在以下网址获取: https://docs.kanaries.net/zh/topics/ChatGPT/llm-jailbreak-papers

[11] CMU把具身智能的机器人给越狱了 - 新浪财经. 可在以下网址获取: https://finance.sina.com.cn/roll/2024-12-19/doc-inczysvv6882921.shtml

[12] 通过对抗性攻击揭示的大型语言模型的漏洞综述Part2 - 知乎专栏. 可在以下网址获取: https://zhuanlan.zhihu.com/p/675835719

[13] 2024年1月16日Arxiv最热NLP大模型论文 - CSDN博客. 可在以下网址获取: https://blog.csdn.net/xixiaoyaoww/article/details/135626856

[14] 人工智能犯罪的样态解构与治理应对——以欧洲警察署报告为中心 … 可在以下网址获取: http://www.phcppsu.com.cn/news/show.aspx?id=9791

[15] 大语言模型对抗性攻击与防御综述 - 计算机研究与发展. 可在以下网址获取: https://crad.ict.ac.cn/article/doi/10.7544/issn1000-1239.202440630?viewType=HTML

[16] 全新大语言模型驱动的Agent》——4.5万字详细解读复旦NLP和米哈 … 可在以下网址获取: https://zhuanlan.zhihu.com/p/656676717

[17] akinLiu/WooYun - GitHub. 可在以下网址获取: https://github.com/akinLiu/WooYun

[18] [PDF] 大语言模型对抗性攻击与防御综述 - 计算机研究与发展. 可在以下网址获取: https://crad.ict.ac.cn/cn/article/pdf/preview/10.7544/issn1000-1239.202440630.pdf

[19] NIST负责任可信AI：对抗性机器学习攻击方式和缓解措施分类和术语. 可在以下网址获取: https://www.secrss.com/articles/64018?app=1

[20] 打错字也能“越狱”？揭示AI安全防护的新突破 - 搜狐. 可在以下网址获取: https://www.sohu.com/a/841683154_121956422

[21] 网传DeepSeek R1更容易被越狱？这有个入选顶会的防御框架 … 可在以下网址获取: https://finance.sina.com.cn/tech/roll/2025-02-11/doc-inekawwf6658591.shtml

[22] AI安全防护存漏洞，改变提示词就能“越狱”GPT-4等模型？ - 搜狐. 可在以下网址获取: https://www.sohu.com/a/841716369_362225

[23] LLM 越狱：绕过安全措施执行实际网络攻击 - InfoSecured.ai. 可在以下网址获取: https://www.infosecured.ai/zh-CN/i/ai-security/llm-jailbreak-bypassing-security-cyberattacks/

[24] 大模型的“弱转强”越狱攻击：挑战与防御_gcg attack-CSDN博客. 可在以下网址获取: https://blog.csdn.net/weixin_44292902/article/details/140691132

[25] 多模态大语言模型的致命漏洞：语音攻击-51CTO.COM. 可在以下网址获取: https://www.51cto.com/article/788676.html

[26] 被催眠后的ChatGPT可能会泄露重要信息-大模型的隐藏风险 - 腾讯云. 可在以下网址获取: https://cloud.tencent.com/developer/article/2437546

[27] Acmesec/theAIMythbook: Ai迷思录（应用与安全指南） - GitHub. 可在以下网址获取: https://github.com/Acmesec/theAIMythbook

[28] LLM Safety 最新论文推介- 2025.2.7 - 知乎专栏. 可在以下网址获取: https://zhuanlan.zhihu.com/p/22021063873

[29] Chun Wai Chiu, Linghan Huang, Bo Li, Huaming Chen. `Do as I say not as I do’: A Semi-Automated Approach for Jailbreak Prompt Attack against Multimodal LLMs. (2025-02-02). arXiv. 可在以下网址获取: http://arxiv.org/abs/2502.00735v2

[30] Natasha Maniar, Samantha W. T. Chan, Wazeer Zulfikar, Scott Ren, Christine Xu, Pattie Maes. MemPal: Leveraging Multimodal AI and LLMs for Voice-Activated Object Retrieval in Homes of Older Adults. (2025-02-03). arXiv. 可在以下网址获取: http://arxiv.org/abs/2502.01801v1

[31] Yunhao Gou, Kai Chen, Zhili Liu, Lanqing Hong, Hang Xu, Zhenguo Li, Dit-Yan Yeung, James T. Kwok, Yu Zhang. Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation. (2024-03-14). arXiv. 可在以下网址获取: http://arxiv.org/abs/2403.09572v4

[32] Sabit Hassan, Hye-Young Chung, Xiang Zhi Tan, Malihe Alikhani. Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents. (2024-10-18). arXiv. 可在以下网址获取: http://arxiv.org/abs/2410.14141v2

[33] Ranjan Sapkota, Shaina Raza, Maged Shoman, Achyut Paudel, Manoj Karkee. Image, Text, and Speech Data Augmentation using Multimodal LLMs for Deep Learning: A Survey. (2025-01-29). arXiv. 可在以下网址获取: http://arxiv.org/abs/2501.18648v1

[34] 多模态大语言模型的致命漏洞：语音攻击 - 安全内参. 可在以下网址获取: https://www.secrss.com/articles/66205

[35] 利用越狱图像（Jailbreak Images）攻击多模态融合模型 - 思空，简观. 可在以下网址获取: https://nullthought.net/?p=4840

[36] 复旦团队开发越狱攻击框架，揭示大模型参数量和安全性的新规律. 可在以下网址获取: https://www.mittrchina.com/news/detail/13212

[37] 大模型的“越狱” 转载 - CSDN博客. 可在以下网址获取: https://blog.csdn.net/VucNdnrzk8iwX/article/details/139788531

[38] 大语言模型越狱攻击综述- AI知识库 - 53AI. 可在以下网址获取: https://www.53ai.com/news/LargeLanguageModel/2024072580497.html

[39] 大模型安全挑战与攻击测试研究. 可在以下网址获取: https://www.secrss.com/articles/76119

[40] 大模型“越狱” - 刘伟的博文 - 手机版. 可在以下网址获取: https://wap.sciencenet.cn/home.php?mod=space&uid=40841&do=blog&id=1438757

[41] [PDF] 面向大语言模型的越狱攻击综述 - 计算机研究与发展. 可在以下网址获取: https://crad.ict.ac.cn/cn/article/pdf/preview/10.7544/issn1000-1239.202330962.pdf

[42] AI大模型“爆发”须防范数据法律风险 - 新浪财经. 可在以下网址获取: https://finance.sina.com.cn/tech/roll/2025-03-11/doc-inepfvkp9922146.shtml

[43] Wenzhuo Xu, Zhipeng Wei, Xiongtao Sun, Deyue Zhang, Dongdong Yang, Quanchen Zou, Xiangzheng Zhang. Utilizing Jailbreak Probability to Attack and Safeguard Multimodal LLMs. (2025-03-10). arXiv. 可在以下网址获取: http://arxiv.org/abs/2503.06989v1

[44] Sarah Ball, Frauke Kreuter, Nina Panickssery. Understanding Jailbreak Success: A Study of Latent Space Dynamics in Large Language Models. (2024-06-13). arXiv. 可在以下网址获取: http://arxiv.org/abs/2406.09289v2

[45] Shenyi Zhang, Yuchen Zhai, Keyan Guo, Hongxin Hu, Shengnan Guo, Zheng Fang, Lingchen Zhao, Chao Shen, Cong Wang, Qian Wang. JBShield: Defending Large Language Models from Jailbreak Attacks through Activated Concept Analysis and Manipulation. (2025-02-11). arXiv. 可在以下网址获取: http://arxiv.org/abs/2502.07557v1

[46] Yi Liu, Gelei Deng, Zhengzi Xu, Yuekang Li, Yaowen Zheng, Ying Zhang, Lida Zhao, Tianwei Zhang, Kailong Wang, Yang Liu. Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study. (2023-05-23). arXiv. 可在以下网址获取: http://arxiv.org/abs/2305.13860v2

[47] Zhenxing Niu, Yuyao Sun, Haodong Ren, Haoxuan Ji, Quan Wang, Xiaoke Ma, Gang Hua, Rong Jin. Efficient LLM-Jailbreaking by Introducing Visual Modality. (2024-05-30). arXiv. 可在以下网址获取: http://arxiv.org/abs/2405.20015v1

[48] Yuan Gong, Christian Poellabauer. Protecting Voice Controlled Systems Using Sound Source Identification Based on Acoustic Cues. (2018-11-16). arXiv. 可在以下网址获取: http://arxiv.org/abs/1811.07018v1

[49] Yuan Gong, Christian Poellabauer. An Overview of Vulnerabilities of Voice Controlled Systems. (2018-03-24). arXiv. 可在以下网址获取: http://arxiv.org/abs/1803.09156v1

[50] Yuanda Wang, Qiben Yan, Nikolay Ivanov, Xun Chen. A Practical Survey on Emerging Threats from AI-driven Voice Attacks: How Vulnerable are Commercial Voice Control Systems?. (2023-12-10). arXiv. 可在以下网址获取: http://arxiv.org/abs/2312.06010v2

[51] Xuannan Liu, Xing Cui, Peipei Li, Zekun Li, Huaibo Huang, Shuhan Xia, Miaoxuan Zhang, Yueying Zou, Ran He. Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey. (2024-11-14). arXiv. 可在以下网址获取: http://arxiv.org/abs/2411.09259v2

[52] Mingli Zhu, Siyuan Liang, Baoyuan Wu. Breaking the False Sense of Security in Backdoor Defense through Re-Activation Attack. (2024-05-25). arXiv. 可在以下网址获取: http://arxiv.org/abs/2405.16134v2

[53] How Does LLM Safety Training Fail? 语言模型越狱的底层逻辑分析. 可在以下网址获取: https://zhuanlan.zhihu.com/p/658165694

[54] 面向大语言模型的越狱攻击与防御综述-A Review of Jailbreak Attacks … 可在以下网址获取: https://jcs.iie.ac.cn/ch/reader/view_abstract.aspx?file_no=20240503&flag=1

[55] GPT-4o更容易越狱？北航&南洋理工上万次测试给出详细分析 - 量子位. 可在以下网址获取: https://www.qbitai.com/2024/06/153784.html

[56] Fenghua Weng, Yue Xu, Chengyan Fu, Wenjie Wang. $\textit{MMJ-Bench}$ : A Comprehensive Study on Jailbreak Attacks and Defenses for Multimodal Large Language Models. (2024-08-16). arXiv. 可在以下网址获取: http://arxiv.org/abs/2408.08464v4

[57] Rafael Ferreira, Diogo Tavares, Diogo Silva, Rodrigo Valério, João Bordalo, Inês Simões, Vasco Ramos, David Semedo, João Magalhães. TWIZ-v2: The Wizard of Multimodal Conversational-Stimulus. (2023-10-03). arXiv. 可在以下网址获取: http://arxiv.org/abs/2310.02118v2

[58] Qingyuan Fei, Wenjie Hou, Xuan Hai, Xin Liu. VocalCrypt: Novel Active Defense Against Deepfake Voice Based on Masking Effect. (2025-02-14). arXiv. 可在以下网址获取: http://arxiv.org/abs/2502.10329v1

[59] Yunhao Xing, Jerrick Ban, Timothy D. Hubbard, Michael Villano, Diego Gomez-Zara. Immersed in my Ideas: Using Virtual Reality and Multimodal Interactions to Visualize Users’ Ideas and Thoughts. (2024-09-23). arXiv. 可在以下网址获取: http://arxiv.org/abs/2409.15033v1

[60] Siyuan Wang, Zhuohan Long, Zhihao Fan, Zhongyu Wei. From LLMs to MLLMs: Exploring the Landscape of Multimodal Jailbreaking. (2024-06-21). arXiv. 可在以下网址获取: http://arxiv.org/abs/2406.14859v1

url公众号
公众号：曲奇自然语言处理