直播预告 | 大语言模型与视觉语言模型越狱行为及防御机制的回顾与展望

最新推荐文章于 2025-05-05 14:07:50 发布
最新推荐文章于 2025-05-05 14:07:50 发布
阅读量172 收藏
点赞数
文章标签： 语言模型 人工智能 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247679596&idx=3&sn=7c5e073f3b184563995f21bfb2df971b&chksm=97d51473cf1e0680ec7a4ad9d0597fe92895489fa54e2ccb8534a99dc3c67a51bb9b938444fb&scene=126&sessionid=0
版权

cf92bc594e720a866b8f2332a27ec096.gif

849b7e833c98ce07b83a8b4b5c8cb85b.png

 AI安全说 第1期 

嘉宾在线解读✔️

在线实时Q&A✔️

 直播主题 

大语言模型与视觉语言模型

越狱行为及防御机制的回顾与展望

 直播嘉宾 

张沛炎

香港科技大学在读博士生

金海波

浙江工业大学在读博士生

 直播时间 

2024年08月31日（周六）

10:00-11:00

 观看方式 

PaperWeekly视频号

PaperWeekly B站直播间

一键预约直播

▼

5439a0bb39c47e62074cddd1c30cab31.png

 报告介绍 

人工智能通过大语言模型（LLM）和视觉语言模型（VLM）的发展迅速进步，在多个技术领域带来了显著的提升。虽然这些模型增强了自然语言处理和视觉交互任务的能力，但它们的广泛应用也引发了关于安全性和伦理对齐的重要问题。

本次 talk 将广泛回顾这一新兴领域，重点探讨绕过 LLM 和 VLM 伦理和操作边界的刻意行为，即所谓的“越狱”行为，以及由此引发的防御机制的发展。我们将越狱行为分为七种不同类型，并详细阐述应对这些漏洞的防御策略。

通过这一全面的分析，我们识别了当前的研究空白，并提出了未来研究的方向，以加强 LLM 和 VLM 的安全框架。我们的研究结果强调了从越狱策略和防御解决方案两方面进行整合的必要性，以促进下一代语言模型的稳健、安全和可靠的发展环境。

ec04448c7d0b6fe00fc7eb9c084e2426.png 嘉宾介绍 

8a06b5ebfff253a8fa6bbd3e1dcb88fa.jpeg

张沛炎

香港科技大学博士生

张沛炎，香港科技大学在读博士生，其博士导师是Sunghun Kim教授。他的研究重点是为智能信息系统开发值得信赖的机器学习方法，譬如隐私保护的推荐系统及其安全性研究。他在可信推荐系统领域的研究荣获2023年WSDM最佳论文奖 - 荣誉提名，并获得Amazon KDD Cup挑战赛（KDDCup 2023）第三名。目前，他致力于用大语言模型（LLM）构建推荐系统，同时探索自然且可信的解决方案，以保障大语言模型的安全性和可靠性。

ea05682cbb6b16dfc0867df37040cafa.jpeg

金海波

浙江工业大学博士生

金海波，浙江工业大学在读博士生，伊利诺伊大学厄巴纳-香槟分校（UIUC）访问学者，其导师是Jinyin Chen教授和Haohan Wang教授。他的研究主要聚焦于深度学习与网络安全、图像与模式识别以及大模型漏洞挖掘等交叉学科领域，特别是针对以深度学习模型为核心的人工智能技术安全问题展开了深入研究。他专注于对抗攻防和可信人工智能的理论与技术研究，并在包括IEEE TDSC、ECCV、ICSE等顶级国际会议和期刊上发表了多篇高水平论文。目前，他致力于大语言模型（LLM）“越狱”行为的挖掘与防御技术的研究，力图为人工智能技术的安全应用提供更加可靠的保障。

38e57ae810be433903c2d707c37963e6.png

ccb977de79357ba34a9fd9507b52b01d.jpeg

技术交流群

扫码备注「LLM安全」

立刻加入技术交流群

一键预约直播

▼

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

4b7aafbce37de7e26c6a17ee503508dd.jpeg

PaperWeekly
关注
面向大语言模型的越狱攻击综述
罗伯特技术屋
06-02 569
近年来，大语言模型（large language model，LLM）在一系列下游任务中得到了广泛应用，并在多个领域表现出了卓越的文本理解、生成与推理能力. 然而，越狱攻击正成为大语言模型的新兴威胁. 越狱攻击能够绕过大语言模型的安全机制，削弱价值观对齐的影响，诱使经过对齐的大语言模型产生有害输出. 越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.
Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap
c_cpp_csharp的专栏
02-28 727
大型语言模型（LLM）不仅彻底改变了自然语言处理，而且将其能力扩展到了各个领域，标志着向通用人工智能迈出了重要的一步。LLM和进化算法（EA）之间的相互作用，尽管目标和方法不同，但在复杂问题中有着共同的适用性追求。同时，EA可以为LLM在黑匣子设置下的进一步增强提供优化框架，赋予LLM灵活的全局搜索能力。另一方面，LLM固有的丰富领域知识可以使EA进行更智能的搜索。此外，LLM的文本处理和生成能力将有助于在广泛的任务中部署EA。
多模态大语言模型时代的代理推荐系统展望
栖客
03-30 778
近期大语言模型（LLMs）的突破性进展催生了超越单一模型能力的代理型人工智能系统。通过赋予LLMs感知外部环境、整合多模态信息和与各种工具交互的能力，这些代理系统在复杂任务中表现出更大的自主性和适应性。这一演变带来了推荐系统（RS）的新机遇：基于LLM的代理型推荐系统（LLM-ARS）可以提供更加互动、情境感知和主动的推荐服务，可能重塑用户体验并拓宽推荐系统的应用范围。尽管早期结果令人鼓舞，但基本挑战仍然存在，包括如何有效融入外部知识、平衡自主性与可控性以及在动态多模态环境中评估性能。
LLM大型语言模型代理的安全与隐私综述
2301_81887304的博客
08-26 1178
受大型语言模型（LLM）快速发展的启发，LLM代理已发展到能够执行复杂任务的阶段。LLM代理现在广泛应用于各个领域，处理大量数据以与人类互动并执行任务。LLM代理的广泛应用展示了其显著的商业价值；然而，这也暴露了其安全和隐私漏洞。
2024年6月18日Arxiv大语言模型相关论文
数智笔记
06-18 2995
原标题作者机构: 夏威夷大学马诺阿分校 伊利诺伊大学芝加哥分校 加利福尼亚大学戴维斯分校摘要: 文本摘要研究随着深度神经网络、预训练语言模型（PLMs）和最近的大语言模型（LLMs）的出现经历了几次重大转变。因此，本调查通过这些范式转变的视角全面回顾了文本摘要研究的进展和演变。它分为两个主要部分：（1）LLM 时代之前数据集、评估指标和摘要方法的详细概述，包括传统统计方法、深度学习方法和 PLM 微调技术，以及（2）LLM 时代最新进展在基准测试、建模和评估摘要方面的首次详细考察。
西安交大最新综述！一文带你读懂大模型智能体（Large Model Based Agents）及其组网与安全
D2660的博客
01-26 1988
本文聚焦于大模型智能体的现状、协同范式、安全威胁、未来趋势。首先研究了大模型智能体的基础原理，包括其通用架构、关键组件、支撑技术及典型应用。随后，从云边端协同和数据、计算以及知识的视角讨论了实现大模型智能体互联智能的实际协作范式。接着，本文分析了大模型智能体在多智能体设置中的安全漏洞和隐私风险，深入探讨了其内在机制，并回顾了现有及潜在的应对措施。最后，本文提出了构建稳健且安全的LM智能体生态系统的未来研究方向。
51c大模型~合集16
whaosoft~aiotの开发板商城
11-06 1256
​最近几年受益于巨大的参数规模和海量的训练语料，基于Transformer的大型语言模型（LLMs），如ChatGPT和LLaMA系列，在特定领域知识的生成和复杂推理任务中都表现出色的性能。此外，LLMs的能力随着参数规模的扩大而继续增强，给人们在通往AGI的道路上以无限遐想。然而，巨大的参数规模导致了模型需要巨大的存储和计算需求，这大大限制了LLMs的广泛应用和发展。量化技术通过将32位参数映射到更小的位数，有效地缓解了这些限制，该技术可以显著减少存储需求，并在推理过程中提升了计算速度和能源效率。
51c大模型~合集90
whaosoft~aiotの开发板商城
12-17 1507
你注意到，有一两个坏人的国籍特别引起你的注意，因为你还提到了其他一些不好的做法，但他们没有提到国籍。
51c大模型~合集92
whaosoft~aiotの开发板商城
12-22 933
如下图 2(b) 所示，跨域微调（OT）不是使用完整的模型进行训练，而是允许数据所有者使用模型所有者提供的有损压缩仿真器进行微调，但这种范式有个缺点：会让数据所有者得到的仿真器的性能较差。值得注意的是，该团队提出的方法在 WebQs 任务上实现了强大的插件性能，其中零样本准确率为零，突显了其在新的下游应用中的潜力。值得注意的是，由于选择了重要的层进行更新，插件的性能可以超过直接在 LLM 上进行微调的性能，这得益于稀疏训练带来的更好收敛性。因此，研究团队选择了对仿真器中的 MHSA 层进行秩压缩的策略。
大语言模型应用指南：越狱攻击与数据投毒
AI天才研究院
05-31 1515
1.背景介绍 在当今的人工智能领域，大型语言模型已经成为了一种重要的研究和应用方向。这种模型可以理解和生成自然语言，广泛应用于各种场景中，如聊天机器人、自动写作、代码生成等。然而，随着这些模型的应用越来越广泛，也出现了一些新的挑战，其中越狱攻击和数据投毒就是两个重要的问题。 越狱攻击是指攻击者通过输入特定的命令或者提示，使得模型生成出违反
破解大型语言模型的安全防线：探究“越狱”背后的机制
步子哥的博客
06-16 552
Rimsky et al. (2023) 和 Zou et al. (2023a): 探讨了对比激活引导（contrastive activation steering）的概念，这涉及到使用从越狱和非越狱版本的相同请求中提取的向量来影响模型的激活。这些实验的目的是深入了解越狱现象的工作原理，探索不同越狱类型的潜在机制，并评估通过引导来减轻越狱效果的可行性。实验结果：实验发现，不同越狱类型的激活模式可以聚集成不同的集群，越狱向量在减少越狱成功率方面具有一定效果，尤其是对于同一集群内的其他越狱类型。
大语言模型的语境中“越狱”和思维链
ZJQ的博客
01-18 557
越狱（Jailbreaking）** - **含义**：在大语言模型的语境中，“越狱”是指用户试图**绕过语言模型的安全限制和使用规则，让模型生成违反伦理道德、包含有害内容**（如暴力、歧视、恶意软件代码等）的输出。这些**安全限制是由模型开发者设置的**，目的是确保**模型的使用符合法律和道德标准。
自然语言处理实战：用CRF打造高精度命名实体识别系统
Loving_enjoy的博客
05-03 1195
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
解锁DeepSeek模型微调：从小白到高手的进阶之路
邓邓子的博客
05-05 1162
本文围绕 DeepSeek 模型微调展开系统阐述。首先介绍 DeepSeek 模型在 AI 领域的重要地位及其优势，点明微调对提升模型性能的关键意义。接着深入解析微调原理，涵盖迁移学习基础与参数更新机制。随后详细讲解数据准备、模型选择加载、微调训练实战等核心步骤，包括数据收集标注预处理、参数设置与策略选择。还通过实战案例展示微调全流程，并基于评估结果提出优化改进方法。最后对 DeepSeek 模型微调进行总结，展望其未来发展方向，为希望掌握 DeepSeek 模型微调技术的读者提供全面指导。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 1139
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势
高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。
05-01 1698
存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。
我让AI接管了浏览器！Browser Tools MCP教程：自动Debug+截屏+SEO分析
seeyouintokyo的博客
05-03 1459
小白友好，且效率翻倍
英伟达语音识别模型论文速读：Token-and-Duration Transducer（TDT）架构
最新发布
weixin_52582710的博客
05-05 1075
论文提出的 TDT 模型通过在传统 Transducer 模型中加入显式的持续时间建模，在语音识别、语音翻译和口语理解等多个序列任务中均优于传统 Transducer 模型。TDT 模型不仅在准确率上表现相当或更好，而且在推理速度上显著提升，最高可达 2.82 倍加速。此外，TDT 模型在抗噪声和处理重复 token 方面也展现出更强的鲁棒性。未来的工作将致力于进一步提高 TDT 模型的计算效率和准确性，并开发高效的 TDT 模型束搜索算法。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 1503
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
越狱攻击防御大语言模型
02-22
### 防御大语言模型越狱攻击的方法和策略 为了应对大语言模型面临的越狱攻击，多种方法和技术被提出并应用于实际场景中。这些防御措施旨在提高系统的安全性，防止恶意利用。 #### 1. 输入验证与过滤 严格的输入验证可以有效阻止许多类型的攻击。通过对用户输入的内容进行细致检查，能够识别并拦截可能含有恶意意图的数据。这包括但不限于关键词黑名单匹配、语法结构分析以及语义理解等手段[^1]。 #### 2. 对抗训练 对抗训练是一种增强模型鲁棒性的技术。具体来说，在训练过程中加入精心构造的对抗样本来扩充数据集，使得模型学会抵御那些试图误导它的特殊模式。这种方法不仅提高了模型对于已知攻击方式的抵抗力，还增强了其泛化能力，使其在未来面对未知威胁时更加稳健[^2]。 #### 3. 强化学习框架下的安全机制设计 考虑到部分越狱攻击可能是通过探索环境来寻找漏洞的方式实现，因此可以在LLM内部集成特定的安全模块。该模块采用强化学习原理工作，它会监控整个交互过程中的行为特征，并动态调整参数以优化奖励函数的设计，从而引导对话朝着预期方向发展的同时抑制异常活动的发生。 #### 4. 多层次审核体系建立 除了上述技术层面的努力外，还需要建立健全的事前事后审查制度。事前阶段要确保部署之前经过充分测试；而事后则需定期评估现有防护效果并对发现的问题及时整改。此外，鼓励社区参与也是提升整体安全水平的有效途径之一——比如设立赏金计划激励白帽黑客帮助查找潜在隐患。 ```python def validate_input(user_input): """ 实现简单的输入验证逻辑， 这里仅作为一个示意例子。 参数: user_input (str): 用户提供的文本 返回: bool: 是否合法 """ blacklisted_words = ["exec", "import os"] for word in blacklisted_words: if word in user_input.lower(): return False return True class AdversarialTrainer(object): def __init__(self, model): self.model = model def train_with_adversaries(self, dataset): """使用对抗样本扩展原始数据集""" pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值