论文阅读：2024 arxiv Jailbreaking Black Box Large Language Models in Twenty Queries

已于 2025-06-07 15:24:07 修改
阅读量1.2k 收藏 13
点赞数 27
分类专栏： 论文阅读 文章标签： 论文阅读 语言模型 人工智能
于 2025-04-30 08:42:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/147623967
版权

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

Jailbreaking Black Box Large Language Models in Twenty Queries

https://www.doubao.com/chat/4008882391220226

https://arxiv.org/pdf/2310.08419

文章目录

速览

这篇论文是来自宾夕法尼亚大学的研究人员撰写的，主要探讨大语言模型（LLMs）的安全漏洞问题，提出了一种叫PAIR的算法来进行攻击测试，相关成果有助于提升大语言模型的安全性。

  1. 研究背景：大语言模型发展迅速，但训练数据中的不良内容会带来危害，所以人们会采取措施让模型生成的内容符合人类价值观。不过，当前存在两类越狱攻击能绕过模型的安全防护机制。prompt - level越狱需要大量人力，
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Jailbreaking Large Language Models in Few Queries via Disguise and Reconstruction
c_cpp_csharp的专栏
03-18 325
近年来，大型语言模型（LLM）在各种任务中都取得了显著的成功，但LLM的可信度仍然是一个悬而未决的问题。一个具体的威胁是可能产生有毒或有害的反应。攻击者可以制作对抗性提示，从而引起LLM的有害响应。在这项工作中，我们通过识别安全微调中的偏见漏洞，开创了LLM安全的理论基础，并设计了一种名为DRA（伪装和重建攻击）的黑匣子越狱方法，该方法通过伪装隐藏有害指令，并在完成时提示模型重建原始有害指令。我们评估了各种开源和开源模型的DRA，展示了最先进的越狱成功率和攻击效率。
Open sesame! universal black box jailbreaking of large language models - 论文翻译
anniewwy的博客
04-24 1481
大型语言模型 LLMs，旨在为提供有用和安全的响应，通常依赖于对齐技术来与用户意图和社会指南保持一致。不幸的是，这种对齐可以被恶意行为者利用，试图操纵LLM的输出，以达到意想不到的目的。在本文中，我们介绍了一种新方法，该方法使用遗传算法 (GA) 并在模型架构和参数无法访问的情况下操纵 LLM。GA攻击通过优化一个通用的对抗提示来工作，即当与用户的查询相结合时——破坏被攻击模型的对齐机制，来导致意外和潜在有害的输出。我们的新方法通过揭示其响应偏离预期行为的实例来系统地揭示了模型的局限性和漏洞。
论文阅读：JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models
CSPhD-winston的博客
07-08 825
论文指出评估越狱攻击存在挑战，如缺乏评估标准、成本和成功率计算方法不一致、许多研究无法复现。为解决这些问题，作者提出了JailbreakBench，这是一个开源基准测试，包含以下组件：持续更新的越狱提示库（jailbreak artifacts）。包含100种行为的越狱数据集，符合OpenAI的使用政策。标准化的评估框架，包括威胁模型、系统提示、聊天模板和评分函数。跟踪各种LLMs攻击和防御性能的排行榜。
LLMs之Agent：Personal_LLM_Agents_Survey的简介、使用方法之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-17 1万+
​ LLMs之Agent：Personal_LLM_Agents_Survey的简介、使用方法之详细攻略 目录 Personal_LLM_Agents_Survey的简介 Personal_LLM_Agents_Survey的使用方法 Personal_LLM_Agents_Survey的简介 个人LLM代理(智能体)被定义为一种特殊类型的基于LLM的代理，它与个人数据、个人设备和个人服务深度集成。它们最好部署到资源受限的移动/边缘设备和
51c大模型~合集92
whaosoft~aiotの开发板商城
12-22 995
如下图 2(b) 所示，跨域微调（OT）不是使用完整的模型进行训练，而是允许数据所有者使用模型所有者提供的有损压缩仿真器进行微调，但这种范式有个缺点：会让数据所有者得到的仿真器的性能较差。值得注意的是，该团队提出的方法在 WebQs 任务上实现了强大的插件性能，其中零样本准确率为零，突显了其在新的下游应用中的潜力。值得注意的是，由于选择了重要的层进行更新，插件的性能可以超过直接在 LLM 上进行微调的性能，这得益于稀疏训练带来的更好收敛性。因此，研究团队选择了对仿真器中的 MHSA 层进行秩压缩的策略。
论文笔记——相干体技术在裂缝预测中的应用研究
Z__XY_的博客
06-05 1244
相干体是指由三维地震数据体经过相干处理而得到的一个新的数据体，其基本原理是在三维数据体中，求每一道每一样点处小时窗内分析点所在道与相邻道波形的相似性，形成一个表征相干性的三维数据体，即计算时窗内的数据相干性，把这一结果赋予时窗中心样点。——Amoco公司相干体技术是利用地震信号相干值的变化来描述地层、岩性等的横向非均匀性，进而研究断层、微断裂的空间分布，地质构造异常及岩性的整体空间展布特征。
【论文阅读笔记】万花筒：用于异构多智能体强化学习的可学习掩码
weixin_37938228的博客
06-06 947
摘要 在多智能体强化学习（MARL）中，通常采用参数共享来提高样本效率。然而，全参数共享的流行方法通常会导致智能体之间的策略同质，这可能会限制从策略多样性中获得的性能优势。为了解决这一关键限制，我们提出了万花筒，一种新的自适应部分参数共享方案，在保持高样本效率的同时促进策略异质性。具体来说，万花筒为不同的智能体维护一组公共参数以及多组不同的、可学习的掩码，决定参数的共享。它通过鼓励这些掩码之间的差异来促进策略网络之间的多样性，而不会牺牲参数共享的效率。这种设计使万花筒能够动态平衡高样本效率和广泛的策略表示能
论文阅读：LLM4Drive: A Survey of Large Language Models for Autonomous Driving
m0_53605808的博客
06-05 1134
自动驾驶技术作为推动交通和城市出行变革的催化剂，正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。相比之下，端到端自动驾驶系统因其完全数据驱动的训练过程有望避免误差累积，但其 “黑箱” 特性往往导致透明度不足，使得决策的验证和追溯复杂化。最近，大型语言模型（LLMs）已展现出上下文理解、逻辑推理和生成答案等能力。一个自然的想法是利用这些能力为自动驾驶赋能。
[论文阅读] 人工智能 | 大语言模型计划生成的新范式：基于过程挖掘的技能学习
张较瘦
06-06 1299
本文介绍一项将过程挖掘技术融入大语言模型（LLMs）计划生成的研究。针对现有文本规划器缺乏结构化控制流、效率低的问题，研究提出通过过程发现提取技能模型、一致性检查优化检索的框架。实验表明，该方法提升了LLMs的并行执行能力和可解释性，为复杂任务自动化提供了新思路。
【论文阅读】多任务学习起源类论文《Multi-Task Feature Learning》
最新发布
qq_38142901的博客
06-10 724
该论文提出了一种通过**低纬度表征多任务共性**的方法.通过建立一个1维范式问题将多任务共同学习特征数进行正则化.这个问题等价于一个凸优化问题,用迭代算法进行求解.整个算法可以理解为**非监督模块与监督模块,前者学习多任务的共同表征,后者使用该表征学习每个任务的目标.**
Delivering Arbitrary-Modal Semantic Segmentation（CVPR2023）任意模态语义分割论文阅读
一个AI从业者的博客
06-09 1002
本研究提出了DeLiVER数据集和CMNeXt跨模态分割模型，旨在通过多模态融合提高语义分割的鲁棒性。DeLiVER数据集包含多种模态和恶劣环境条件，涵盖了5种天气、4种传感器故障情况以及多个视角。基于该数据集，本文提出的CMNeXt模型通过自查询中心（SQ-Hub）和并行池化混合器（PPX）有效地融合不同模态信息，实现了在六个基准数据集上的最先进性能。CMNeXt在DeLiVER数据集上的mIoU提升了9.1个百分点，展示了其在恶劣天气和传感器故障情况下的强大鲁棒性。
[论文阅读] 人工智能+项目管理 | 当 PMBOK 遇见 AI：传统项目管理框架的破局之路
张较瘦
06-05 1213
本文解析《Is PMBOK Guide the Right Fit for AI?》一文，探讨传统项目管理框架PMBOK在AI项目中的局限性及改进路径。研究指出，AI项目的数据依赖性、迭代实验特性和伦理挑战对PMBOK提出新要求。论文通过案例分析和文献综述，提出在PMBOK中嵌入数据生命周期管理、混合开发模式和伦理考量的具体建议，为AI项目管理提供了“传统框架+AI适配”的实用解决方案。
[论文阅读] 人工智能+软件工程 | 理解GitGoodBench：评估AI代理在Git中表现的新基准
张较瘦
06-10 577
本文介绍了GitGoodBench，首个针对Git版本控制任务的AI代理评估基准。文章解析了其设计背景（现有基准缺乏VCS评估）、核心场景（合并冲突、交互式变基等）、数据构建方法及GPT-4o基线实验结果，揭示了AI在复杂Git操作中的挑战，为后续研究提供了方向。
[论文阅读] 人工智能 | 利用负信号蒸馏：用REDI框架提升LLM推理能力
张较瘦
06-06 1238
本文解读了《Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning》，针对传统LLM蒸馏浪费负样本的问题，介绍了两阶段REDI框架：先用正样本打基础，再用非对称加权损失函数利用负样本提升推理能力。实验表明，REDI用131k开源数据实现了1.5B模型SOTA，超越需800k专有数据的竞品，为LLM推理能力提升提供了低成本高效方案。
论文阅读：Matting by Generation
Matrix-11
06-07 906
本文提出了一种图像抠图的创新方法，将传统基于回归的任务重新定义为生成式建模挑战。我们的方法利用潜在扩散模型的能力，结合大量预训练知识来规范抠图过程。我们提出了新颖的架构创新，使模型能够生成具有更高分辨率和细节的遮罩（matte）。所提方法具有通用性，可执行无引导和有引导的图像抠图，适应多种附加线索。我们在三个基准数据集上的综合评估表明，该方法在定量和定性方面均表现出优异性能。结果不仅反映了我们方法的稳健有效性，还突出了其生成视觉效果逼真、接近照片级质量遮罩的能力。
【论文阅读笔记】HaDes幻觉检测benchmark
BuBy的博客
06-10 559
平均单词概率、平均熵（这两个用BERT-based算）、TF-IDF、PPMI、POS（比如动词、形容词的区别）、NER（是否是命名实体）。：accuracy, precision, recall, F1（p, r, F1分H和N计算）, AUC, G-Mean, BSS。的幻觉检测任务，无需依赖外部参考文本，直接检测文本中单个令牌的幻觉风险。：使用最大池化而非平均池化、使用2层隐藏维数为h / 2的MLP，将模型参数冻结，只微调分类器。离线模式指可以双向阅读上下文，在线模式指只能阅读上文的历史记录。
[论文阅读] 人工智能 | 搜索增强LLMs的用户偏好与性能分析
张较瘦
06-07 1284
本文解读《Search Arena: Analyzing Search-Augmented LLMs》，介绍首个大规模搜索增强LLMs用户偏好数据集Search Arena。研究发现用户偏好受引用数量和来源类型影响，且搜索增强在事实类任务中不可或缺，但在非搜索场景中表现与传统LLMs相当。论文为评估联网AI提供了数据和方法支撑，揭示了可信度评估的复杂性与未来研究方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值