直播预告 | 大语言模型与视觉语言模型越狱行为及防御机制的回顾与展望

于 2024-08-28 20:22:21 发布
阅读量12 收藏
点赞数
文章标签： 语言模型 人工智能 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247679596&idx=3&sn=7c5e073f3b184563995f21bfb2df971b&chksm=97d51473cf1e0680ec7a4ad9d0597fe92895489fa54e2ccb8534a99dc3c67a51bb9b938444fb&scene=126&sessionid=0
版权

cf92bc594e720a866b8f2332a27ec096.gif

849b7e833c98ce07b83a8b4b5c8cb85b.png

 AI安全说 第1期 

嘉宾在线解读✔️

在线实时Q&A✔️

 直播主题 

大语言模型与视觉语言模型

越狱行为及防御机制的回顾与展望

 直播嘉宾 

张沛炎

香港科技大学在读博士生

金海波

浙江工业大学在读博士生

 直播时间 

2024年08月31日（周六）

10:00-11:00

 观看方式 

PaperWeekly视频号

PaperWeekly B站直播间

一键预约直播

▼

5439a0bb39c47e62074cddd1c30cab31.png

 报告介绍 

人工智能通过大语言模型（LLM）和视觉语言模型（VLM）的发展迅速进步，在多个技术领域带来了显著的提升。虽然这些模型增强了自然语言处理和视觉交互任务的能力，但它们的广泛应用也引发了关于安全性和伦理对齐的重要问题。

本次 talk 将广泛回顾这一新兴领域，重点探讨绕过 LLM 和 VLM 伦理和操作边界的刻意行为，即所谓的“越狱”行为，以及由此引发的防御机制的发展。我们将越狱行为分为七种不同类型，并详细阐述应对这些漏洞的防御策略。

通过这一全面的分析，我们识别了当前的研究空白，并提出了未来研究的方向，以加强 LLM 和 VLM 的安全框架。我们的研究结果强调了从越狱策略和防御解决方案两方面进行整合的必要性，以促进下一代语言模型的稳健、安全和可靠的发展环境。

ec04448c7d0b6fe00fc7eb9c084e2426.png 嘉宾介绍 

8a06b5ebfff253a8fa6bbd3e1dcb88fa.jpeg

张沛炎

香港科技大学博士生

张沛炎，香港科技大学在读博士生，其博士导师是Sunghun Kim教授。他的研究重点是为智能信息系统开发值得信赖的机器学习方法，譬如隐私保护的推荐系统及其安全性研究。他在可信推荐系统领域的研究荣获2023年WSDM最佳论文奖 - 荣誉提名，并获得Amazon KDD Cup挑战赛（KDDCup 2023）第三名。目前，他致力于用大语言模型（LLM）构建推荐系统，同时探索自然且可信的解决方案，以保障大语言模型的安全性和可靠性。

ea05682cbb6b16dfc0867df37040cafa.jpeg

金海波

浙江工业大学博士生

金海波，浙江工业大学在读博士生，伊利诺伊大学厄巴纳-香槟分校（UIUC）访问学者，其导师是Jinyin Chen教授和Haohan Wang教授。他的研究主要聚焦于深度学习与网络安全、图像与模式识别以及大模型漏洞挖掘等交叉学科领域，特别是针对以深度学习模型为核心的人工智能技术安全问题展开了深入研究。他专注于对抗攻防和可信人工智能的理论与技术研究，并在包括IEEE TDSC、ECCV、ICSE等顶级国际会议和期刊上发表了多篇高水平论文。目前，他致力于大语言模型（LLM）“越狱”行为的挖掘与防御技术的研究，力图为人工智能技术的安全应用提供更加可靠的保障。

38e57ae810be433903c2d707c37963e6.png

ccb977de79357ba34a9fd9507b52b01d.jpeg

技术交流群

扫码备注「LLM安全」

立刻加入技术交流群

一键预约直播

▼

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

4b7aafbce37de7e26c6a17ee503508dd.jpeg

PaperWeekly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
面向大语言模型的越狱攻击综述
罗伯特技术屋
06-02 163
近年来，大语言模型（large language model，LLM）在一系列下游任务中得到了广泛应用，并在多个领域表现出了卓越的文本理解、生成与推理能力. 然而，越狱攻击正成为大语言模型的新兴威胁. 越狱攻击能够绕过大语言模型的安全机制，削弱价值观对齐的影响，诱使经过对齐的大语言模型产生有害输出. 越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.
大语言模型应用指南：越狱攻击与数据投毒
禅与计算机程序设计艺术
05-31 1062
1.背景介绍 在当今的人工智能领域，大型语言模型已经成为了一种重要的研究和应用方向。这种模型可以理解和生成自然语言，广泛应用于各种场景中，如聊天机器人、自动写作、代码生成等。然而，随着这些模型的应用越来越广泛，也出现了一些新的挑战，其中越狱攻击和数据投毒就是两个重要的问题。 越狱攻击是指攻击者通过输入特定的命令或者提示，使得模型生成出违反
LLM大型语言模型代理的安全与隐私综述
2301_81887304的博客
08-26 846
受大型语言模型（LLM）快速发展的启发，LLM代理已发展到能够执行复杂任务的阶段。LLM代理现在广泛应用于各个领域，处理大量数据以与人类互动并执行任务。LLM代理的广泛应用展示了其显著的商业价值；然而，这也暴露了其安全和隐私漏洞。
2024年6月18日Arxiv大语言模型相关论文
数智笔记
06-18 1158
原标题作者机构: 夏威夷大学马诺阿分校 伊利诺伊大学芝加哥分校 加利福尼亚大学戴维斯分校摘要: 文本摘要研究随着深度神经网络、预训练语言模型（PLMs）和最近的大语言模型（LLMs）的出现经历了几次重大转变。因此，本调查通过这些范式转变的视角全面回顾了文本摘要研究的进展和演变。它分为两个主要部分：（1）LLM 时代之前数据集、评估指标和摘要方法的详细概述，包括传统统计方法、深度学习方法和 PLM 微调技术，以及（2）LLM 时代最新进展在基准测试、建模和评估摘要方面的首次详细考察。
【AI视野·今日NLP 自然语言处理论文速览 第四十七期】Wed, 4 Oct 2023
TomRen
10-04 1463
AI视野·今日CS.NLP 自然语言处理论文速览 Wed, 4 Oct 2023 Totally 73 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Contrastive Post-training Large Language Models on Data Curriculum Authors Canwen Xu, Corby Rosset, Luciano Del Corro, Shweti Mahajan,
深度解析：六个维度透视Claude3的潜能与局限
weixin_49849119的博客
03-10 976
Anthropic公司近日推出的Claude 3系列模型无疑在全球范围内引发了新一轮的技术热潮。作为一款旨在超越现有顶级模型如GPT-4和Gemini Ultra的革新之作，Claude 3不仅在文本生成质量上展现出空前的细腻与流畅度，而且在知识理解、逻辑推理、代码编写与算法理解、视觉与多媒体感知，乃至伦理道德适应性以及元认知与自我修正能力等方面均声称实现了前所未有的突破。
在互联网上，没有人知道你是一条狗？
热门推荐
信息安全-企业安全-数据安全
08-22 3万+
1993 年，《纽约客》（The New Yorker）杂志刊登一则由彼得·施泰纳（Peter Steiner）创作的漫画：标题是【On the Internet, nobody knows you’re a dog.】 这则漫画中有两只狗：一只黑狗站在电脑椅上，爪子扶着键盘。它望向站在地上、表情迷茫的另一只狗，兴奋地说：「在互联网上，没人知道你是一条狗。 （On the Internet, nobody knows you’re a dog.）画中那只狗的台词随即成了 IT 界广为流传的经典笑话。 那个
谷歌原数据保护团队技术主管：零信任实践分享
企业安全
09-02 2万+
本文作者2015至2020年有幸参与了谷歌生产环境零信任（Zero Trust in Production Environments）的理论和实践。在此背景下开发的Binary Authorization for Borg（BAB） 系统已经在谷歌生产环境中实现了全面覆盖：任何人在生产环境中以任何服务的身份运行任何软件包之前，都必须为目标服务建立一个足够强的BAB安全策略。不符合BAB安全策略的程序将不会被允许以相应服务的身份运行。 在实现和推广这种生产环境零信任的过程中，BAB团队走了不少弯
论文翻译：TrustLLM: Trustworthiness in Large Language Models
CSPhD-winston的博客
07-16 699
大型语言模型（LLMs），如ChatGPT所示，因其卓越的自然语言处理能力而受到广泛关注。尽管如此，这些LLMs在可信度方面存在许多挑战。因此，确保LLMs的可信度成为一个重要议题。本文介绍了TrustLLM，这是对LLMs可信度的全面研究，包括不同维度可信度的原则、建立的基准、主流LLMs的可信度评估与分析，以及开放性挑战和未来方向的讨论。具体来说，我们首先提出了一套涵盖八个维度的可信LLMs的原则。基于这些原则，我们进一步建立了包括真实性、安全性、公平性、鲁棒性、隐私性和机器伦理在内的六个维度的基准。
大语言模型提示注入攻击安全风险分析报告
08-18
【大语言模型提示注入攻击】是指攻击者利用对大语言模型工作原理的深入理解，在向模型提供输入提示时，故意插入恶意词汇、短语或代码，以操纵模型生成有害、误导性或攻击性的内容。这一攻击方式揭示了现代文本生成...
破解大型语言模型的安全防线：探究“越狱”背后的机制
步子哥的博客
06-16 346
Rimsky et al. (2023) 和 Zou et al. (2023a): 探讨了对比激活引导（contrastive activation steering）的概念，这涉及到使用从越狱和非越狱版本的相同请求中提取的向量来影响模型的激活。这些实验的目的是深入了解越狱现象的工作原理，探索不同越狱类型的潜在机制，并评估通过引导来减轻越狱效果的可行性。实验结果：实验发现，不同越狱类型的激活模式可以聚集成不同的集群，越狱向量在减少越狱成功率方面具有一定效果，尤其是对于同一集群内的其他越狱类型。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 6381
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 2421
小迪安全学习笔记
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 5743
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 1961
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
【自由能文章系列（简单难度）】【开篇论文】自由能原理在多个领域的统一视角
最新发布
神经美学_茂森的博客
08-27 908
自由能原理作为一个统一的理论框架，成功地将多个看似不相关的领域（如神经科学、物理学、经济学、信息论、控制论、认知科学和生物学进化）联系在一起。通过自由能原理，我们可以更深刻地理解不同系统如何在给定条件下实现最优行为或状态。#自由能原理 #跨领域统一框架 #优化逻辑 #参数调节 #贝叶斯大脑 #预测编码 #最优控制 #注意力机制 #自然选择 #机器学习。：自由能原理、跨领域统一框架、优化逻辑、参数调节、贝叶斯大脑、预测编码、最优控制、注意力机制、自然选择、机器学习。
论大模型在金融行业的应用场景
m0_53773302的博客
08-25 1125
需要指出的是，虽然上面这些场景都是大家能够最先想到的，但真正要做的很好，也不是那么容易，必须结合优质的技术架构与工具设计，模型优化，数据准备与处理，以及反复的尝试与试错，同时也不可避免的需要对所在行业与场景知识的专业性通过实操深入理解。但如果想到达到90%以上的准确率，那就必须结合专业细致的行业数据、话术抽象、切分，上下文学习/RAG使用，知识图谱的构造，人类反馈的常态化，模型的选择，模型微调中参数调优、数据质量与混合比例的调优、减少遗忘的策略设计，甚至模型结构的创新改造设计等手段综合起来，才可以达到。
python实现循环神经网络
weixin_45570158的博客
08-25 272
为了提供一个基础的循环神经网络（RNN）示例，我们可以使用TensorFlow和Keras，这是构建和训练神经网络常用的两个库。以下是一个简单的RNN实现，用于处理序列数据（如时间序列数据或文本数据）。在这个例子中，我们将使用一个简化的任务：模拟字符级别的文本生成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值