Visual Adversarial Examples Jailbreak Aligned Large Language Models论文阅读

最新推荐文章于 2025-06-07 23:32:26 发布
最新推荐文章于 2025-06-07 23:32:26 发布
阅读量1.5k 收藏 49
点赞数 23
文章标签： 语言模型 论文阅读 人工智能 安全 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ybyyby123/article/details/144158168
版权

Visual Adversarial Examples Jailbreak Aligned Large Language Models

更多大模型安全相关以及机器学习相关的文章见主页
https://y-icecloud.github.io/

文章链接

论文代码

1. 前置知识

对抗性样本：

  • 对抗性样本是指在原始数据上添加特定的干扰，这个干扰是像素级别的修改，人几乎看不出来变化，但是会对模型产生误导
  • 一般是基于梯度来生成，使之损失变大

红队攻击（Red-teaming）：

在AI和机器学习中，红队攻击指的是通过模拟恶意用户的行为，主动寻找并利用模型的潜在弱点

2. 论文大体介绍

此文在多模态大模型的产生下，提出了对抗性攻击，这种攻击通过改变图片中的像素，来进行攻击，这种攻击被证明是非常有效的。与此同时，这种对抗性攻击，还有通用性，对绝大多数的对齐模型都能迁移起作用。最后还展望了对其他种类模态信息的探究。

3. 论文背景

革命：最近人们将视觉融合到LLM中的兴趣激增，导致VLM的出现。

复杂性：然而，多模态模型增加了模型的复杂度和攻击面，这对于确保模型的安全性和可靠性构成了挑战。

4. 方法原理

视觉输入：因为视觉输入的连续性和高维性，使之成为对抗攻击的薄弱之处

白盒攻击：知道模型权重，便于进行生成对抗性样本

黑盒攻击：不知道模型权重，但是这个攻击可以在多个模型之间移植，实现全面性，实现更加通用的攻击

对抗性样本：针对的并不是一种特殊的指令，而是一种通用的指令，能够使绝大多数有害文本可以得到输出

对抗性样本构建方式：

  • 攻击的目的是构建一个对抗性输入 x adv x_{\text{adv}} xadv​，使模型在给定 x adv

最低0.47元/天 解锁文章
大模型安全相关研究
CSPhD-winston的博客
09-11 827
翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on
[论文阅读]Visual Adversarial Examples Jailbreak Aligned Large Language Models
m0_52911108的博客
10-15 815
警告:本文包含具有攻击性的数据、提示和模型输出。最近,将视觉集成到 大型语言模型(LLM)中的兴趣激增,典型代表是 Flamingo 和 GPT-4 等视觉语 言模型(VLMs)。本文揭示了这种趋势的安全性和安全隐患。首先,我们强调,视觉输入的连续性和高维度性使其成为对抗性攻击的薄弱环节,代表了视觉集成 LLM 的扩展攻击面。其次,我们指出,LLM 的多功能性也为视觉攻击者提供了更广泛的对抗性目标,扩展了安全性故障的影响超出了单纯的误分类。举例来说, 我们展示了一项案例研究,其中我们。
论文翻译 - Visual Adversarial Examples Jailbreak Large Language Models
anniewwy的博客
03-06 1270
最近，人们对将视觉集成到大型语言模型 (LLM) 中的兴趣激增，例如 Flaminggo 和 GPT-4 等视觉语言模型 (VLM)。本文阐明了这一趋势的安全性和安全性影响。首先，我们强调视觉输入的连续和高维的性质使其成为对对抗性攻击的薄弱环节，这意味着视觉集成的LLM有更大可能被攻击。其次，我们强调LLM的多功能性也为视觉攻击者提供了更多的可实现对抗目标，这扩大了安全问题的影响，不再仅仅是分类错误。
【LLM安全】Privacy in Large Language Models: Attacks, Defenses and Future Directions（综述）
qq_43543209的博客
02-27 3696
SMPC协议优化( SMPC Protocol Optimization，SPO )是指利用先进的SMPC协议，在保持原有模型结构的同时，提升LLMs隐私保护推理的效率。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。例如，在仅有黑盒模型访问的情况下，敌手可能会进行训练数据提取攻击，以恢复少量的训练数据。然而，保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制，例如Softmax，GeLU，LayerNorm等，这些操作与SMPC不兼容。
视觉对抗示例越狱：大型语言模型的对齐挑战
gitblog_00032的博客
06-21 433
视觉对抗示例越狱：大型语言模型的对齐挑战 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Visual Adversarial Examples Jailbreak 是一个研究项目，揭示了即使是经过精心训练和对齐的语言模型，也可能在遇到特定的视觉对抗性输入时失去其道德约束力。这个开源项目由普林斯顿大学和斯坦福大学的研究人员共同发起，他们发现，即使是最小的图像干扰（称为视...
AAAI2024论文解读|Visual Adversarial Examples Jailbreak Aligned Large Language Models 视觉对抗样本越狱对齐的大型语言模型
paixiaoxin的博客
01-17 598
本文探讨了将视觉信息整合到大型语言模型（LLMs）中的安全和安全风险。研究指出，视觉输入的连续性和高维性使其成为对抗性攻击的薄弱环节，扩大了视觉集成LLMs的攻击面。此外，LLMs的多功能性为视觉攻击者提供了更广泛的对抗目标，超越了单纯的错误分类。通过案例研究，作者展示了如何利用视觉对抗样本绕过已对齐LLMs的安全防护，迫使模型遵循有害指令并生成有害内容。研究强调了追求多模态所带来的对抗风险，并将神经网络的对抗性脆弱性与AI对齐领域联系起来。
MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models论文阅读
ybyyby123的博客
11-30 1616
此文出于对多模态大模型很容易被破坏的缘故，提出了MM SafetyBench数据集，用于对MLLM进行安全评估，总共有13个场景，5040个文本图像对。还提出用用扩散模型和排版生成的图像，来创建图像提示，以绕过MLLM中的安全性防御机制介绍FigStep算法，通过将有害指令转换为图像来对VLM进行攻击，并且证明出在具有OCR功能的GPT-4V上也有较高攻击率。
论文阅读：CLIP:Learning Transferable Visual Models From Natural Language Supervision
记录图像处理中遇到的点点滴滴
06-03 980
openai_CLIP论文泛读，深入打通文字和图片的壁垒
GLIDE论文阅读笔记与DDPM（Diffusion model）的原理推导
qq_73553710的博客
06-03 981
扩散模型（Diffusion model）最近被证明可以生成高质量的合成图像，尤其是当它们与某种引导技术结合使用时，可以在生成结果的多样性与保真度之间进行权衡。本文探讨了在文本条件图像生成任务中使用扩散模型，并比较了两种不同的引导策略：CLIP 引导和无分类器引导。我们发现，人类评估者更倾向于使用无分类器引导方法，无论是在照片真实感还是与文本描述的匹配度方面，该方法通常都能生成具有高度真实感的图像样本。使用无分类器引导的一个 35 亿参数文本条件扩散模型生成的图像样本，在人类评估中优于 DALL-E 的输出
【论文阅读笔记】万花筒：用于异构多智能体强化学习的可学习掩码
weixin_37938228的博客
06-06 656
摘要 在多智能体强化学习（MARL）中，通常采用参数共享来提高样本效率。然而，全参数共享的流行方法通常会导致智能体之间的策略同质，这可能会限制从策略多样性中获得的性能优势。为了解决这一关键限制，我们提出了万花筒，一种新的自适应部分参数共享方案，在保持高样本效率的同时促进策略异质性。具体来说，万花筒为不同的智能体维护一组公共参数以及多组不同的、可学习的掩码，决定参数的共享。它通过鼓励这些掩码之间的差异来促进策略网络之间的多样性，而不会牺牲参数共享的效率。这种设计使万花筒能够动态平衡高样本效率和广泛的策略表示能
论文笔记——相干体技术在裂缝预测中的应用研究
Z__XY_的博客
06-05 1104
相干体是指由三维地震数据体经过相干处理而得到的一个新的数据体，其基本原理是在三维数据体中，求每一道每一样点处小时窗内分析点所在道与相邻道波形的相似性，形成一个表征相干性的三维数据体，即计算时窗内的数据相干性，把这一结果赋予时窗中心样点。——Amoco公司相干体技术是利用地震信号相干值的变化来描述地层、岩性等的横向非均匀性，进而研究断层、微断裂的空间分布，地质构造异常及岩性的整体空间展布特征。
【论文笔记】High-Resolution Representations for Labeling Pixels and Regions
Word_And_Me_的博客
06-03 1317
【题目】：High-Resolution Representations for Labeling Pixels and Regions【引用格式】：Sun K, Zhao Y, Jiang B, et al. High-resolution representations for labeling pixels and regions[J]. arXiv preprint arXiv:1904.04514, 2019.【网址】：https://arxiv.org/pdf/1904.04514【开源代码】：
【论文阅读】Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting
让算法融入生活，改变生活！
06-03 1250
从文中可以看出，尽管Dolphin表现出了出色的性能，但仍有一些限制需要进一步改进。首先，Dolphin主要支持标准水平文本布局，对于垂直文本如古代手稿等的支持有限。其次，虽然Dolphin能够有效地处理中英双语文档，但其多语言能力仍需扩展。此外，虽然Dolphin通过并行元素解析实现了效率提升，但在文本行和表格单元格的并行处理方面仍有优化空间。最后，Dolphin的手写识别能力还需要进一步增强。此外，由于文档的多样性和复杂性，还需要在工业界进行考验。。GOT等专门处理文档的多模态(大)语言模型。
[论文阅读] 人工智能+项目管理 | 当 PMBOK 遇见 AI：传统项目管理框架的破局之路
张较瘦
06-05 1065
本文解析《Is PMBOK Guide the Right Fit for AI?》一文，探讨传统项目管理框架PMBOK在AI项目中的局限性及改进路径。研究指出，AI项目的数据依赖性、迭代实验特性和伦理挑战对PMBOK提出新要求。论文通过案例分析和文献综述，提出在PMBOK中嵌入数据生命周期管理、混合开发模式和伦理考量的具体建议，为AI项目管理提供了“传统框架+AI适配”的实用解决方案。
Pluto论文阅读笔记
ZHANG8023ZHEN的博客
06-04 411
主要还是参考了这一篇论文笔记：https://zhuanlan.zhihu.com/p/18319150220。对于正负样本的对比loss，其中的相似度可以使用余弦相似度等。其他对比学习的loss。
[论文阅读] 人工智能 | 利用负信号蒸馏：用REDI框架提升LLM推理能力
张较瘦
06-06 1097
本文解读了《Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning》，针对传统LLM蒸馏浪费负样本的问题，介绍了两阶段REDI框架：先用正样本打基础，再用非对称加权损失函数利用负样本提升推理能力。实验表明，REDI用131k开源数据实现了1.5B模型SOTA，超越需800k专有数据的竞品，为LLM推理能力提升提供了低成本高效方案。
[论文阅读] 人工智能 | 用大语言模型抓虫：如何让网络协议实现与RFC规范对齐
张较瘦
06-04 770
本文介绍了RFCSCAN，一种基于大语言模型（LLM）的网络协议功能漏洞检测工具。针对传统方法难以检测代码与RFC规范的语义不一致问题，RFCSCAN通过“索引代理”为代码构建分层语义索引，再用“检测代理”按需检索代码上下文，实现精准漏洞定位。在6个真实协议中，它以81.9%的准确率发现47个漏洞，为协议安全审计提供了新思路。
论文阅读：Matting by Generation
Matrix-11
06-07 587
本文提出了一种图像抠图的创新方法，将传统基于回归的任务重新定义为生成式建模挑战。我们的方法利用潜在扩散模型的能力，结合大量预训练知识来规范抠图过程。我们提出了新颖的架构创新，使模型能够生成具有更高分辨率和细节的遮罩（matte）。所提方法具有通用性，可执行无引导和有引导的图像抠图，适应多种附加线索。我们在三个基准数据集上的综合评估表明，该方法在定量和定性方面均表现出优异性能。结果不仅反映了我们方法的稳健有效性，还突出了其生成视觉效果逼真、接近照片级质量遮罩的能力。
[论文阅读] 人工智能 | 搜索增强LLMs的用户偏好与性能分析
最新发布
张较瘦
06-07 824
本文解读《Search Arena: Analyzing Search-Augmented LLMs》，介绍首个大规模搜索增强LLMs用户偏好数据集Search Arena。研究发现用户偏好受引用数量和来源类型影响，且搜索增强在事实类任务中不可或缺，但在非搜索场景中表现与传统LLMs相当。论文为评估联网AI提供了数据和方法支撑，揭示了可信度评估的复杂性与未来研究方向。
adversarial examples
03-16
对抗样本是指通过对原始输入进行微小的修改，使得机器学习模型的输出结果发生错误的样本。这些修改可以是人类难以察觉的，但对于机器学习模型来说却足以改变其输出结果。对抗样本的出现对于机器学习模型的安全性和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

y-icecloud

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值