A Survey of Backdoor Attacks and Defenses on Large Language Models

于 2024-10-01 10:00:00 发布
阅读量6 收藏
点赞数
分类专栏： LLM Daily Survey Paper LLM Security and Privacy 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/142559826
版权

本文是LLM系列文章，针对《A Survey of Backdoor Attacks and Defenses on Large Language Models: Implications for Security Measures》的翻译。

大型语言模型的后门攻击和防御调查：对安全措施的影响

摘要

大型语言模型 (LLM) 弥合了人类语言理解和复杂问题解决之间的差距，在多项 NLP 任务上实现了最先进的性能，特别是在少样本和零样本设置中。尽管 LMM 的功效显而易见，但由于计算资源的限制，用户必须使用开源语言模型或将整个训练过程外包给第三方平台。然而，研究表明，语言模型容易受到潜在安全漏洞的影响，特别是在后门攻击中。后门攻击旨在通过毒害训练样本或模型权重，将目标漏洞引入到语言模型中，从而使攻击者能够通过恶意触发器操纵模型响应。虽然现有的后门攻击调查提供了全面的概述，但缺乏对专门针对LLM的后门攻击的深入研究。为了弥补这一差距并掌握该领域的最新趋势，本文通过重点关注微调方法，提出了一种关于 LLM 后门攻击的新颖视角。具体来说，我们系统地将后门攻击分为三类：全参数微调、参数高效微调和无微调攻击。基于大量评论的见解，我们还讨论了未来后门攻击研究的关键问题，例如进一步探索不需要微调的攻击算法，或开发更隐蔽的攻击算法。

1 引言

2 大型语言模型后门攻击的背景

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models
c_cpp_csharp的专栏
06-25 45
大型语言模型（LLM）已成为自然语言处理（NLP）领域的基石，在理解和生成类人文本方面提供了变革性的能力。然而，随着它们的日益突出，这些模型的安全性和脆弱性方面已经引起了极大的关注。本文对针对LLM的各种形式的攻击进行了全面的调查，讨论了这些攻击的性质和机制、潜在影响以及当前的防御策略。我们深入研究了诸如旨在操纵模型输出的对抗性攻击、影响模型训练的数据中毒以及与训练数据利用相关的隐私问题等主题。本文还探讨了不同攻击方法的有效性、LLM对这些攻击的抵御能力，以及对模型完整性和用户信任的影响。
【论文笔记】POISONPROMPT_ BACKDOOR ATTACK ON PROMPT-BASED LARGE LANGUAGE MODELS
风口IT猪的成长录
03-20 185
Prompts显着提高了预训练大型语言模型（LLM）在各种下游任务上的性能，使其对于各种 LLM 应用场景越来越不可或缺。进行了广泛的实验，评估了的有效性、保真度和鲁棒性。：我们的研究结果强调了对，并强调了在这一领域进一步研究的必要性。
阅读笔记Security and Privacy Challenges of Large Language Models: A Survey
Yale的博客
02-29 434
这篇综述论文全面探讨了大型语言模型（LLMs）在安全性和隐私方面的挑战。LLMs在多个领域展现出了卓越的能力，如文本生成、摘要、语言翻译和问答。然而，这些模型也面临着安全和隐私攻击的脆弱性，例如越狱攻击、数据投毒攻击和个人身份信息（PII）泄露攻击。作者全面回顾了LLMs在训练数据和用户方面的安全和隐私挑战，以及在交通、教育和医疗等不同领域的应用风险。论文评估了LLMs的脆弱性，调查了针对LLMs的新兴安全和隐私攻击，并回顾了潜在的防御机制。此外，论文概述了该领域的现有研究空白，并强调了未来的研究方向。
【4/26-4/30】 Arxiv安全类文章速览
至臻求学，胸怀云月
05-02 1359
Arxiv安全文章速览
[阅读笔记] 联邦学习攻防综述 An Overview of Federated Deep Learning Privacy Attacks and Defensive Strategies
有关我的科研的足迹、算法竞赛的日子、生活记录。
01-06 3037
本文提供了一个目前来说比较完善的联邦学习攻防相关的综述性文章。 本文对攻击方法、防御方法进行分类整理。 联邦学习目前不能被应用到市场的一个原因就在于我们并不能确保联邦学习的安全性，在未来研究联邦学习工作上不可避免地要引用本文及本文延伸的文献资料。
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-12 8410
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读目录Paper：《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读Abstract1 Introduction简介2 Background背景2.1 Transfer Learning and Supervised Pre-Tra
大型语言模型（LLMs）的后门攻击和防御技术
声纹感知 洞察芯声
06-12 2128
后门攻击是一种针对机器学习模型的恶意攻击方式，旨在在模型中植入隐蔽的恶意代码，使攻击者能够通过特定的触发器操控模型的输出。对于大型语言模型（LLMs）而言，后门攻击是一个潜在的安全威胁，需要引起重视。
如何黑箱攻击影响大型语言模型的检索增强生成
步子哥的博客
07-22 957
随着人工智能技术的飞速发展，大型语言模型（LLMs）在自然语言处理领域展示出了卓越的能力。然而，由于训练数据的限制，这些模型的知识范围有限，并且缺乏最新的信息，这可能导致在处理更复杂或时间敏感的任务时出现错误或幻觉。检索增强生成（RAG）结合了信息检索与大型语言模型的生成能力，提升了知识获取的时效性，有效缓解了这些模型的幻觉问题。然而，随着RAG应用范围的扩展，其安全性问题也逐渐凸显，特别是在面对恶意攻击时的表现。
Exploring Backdoor Attacks on DRL-based TCC system
03-19
这篇论文——"Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems"揭示了DRL模型在交通管理中的潜在风险，即可能受到后门攻击（Backdoor Attack）...
Unnoticeable Backdoor Attacks on Graph Neural Networks总结笔记
llljoo的博客
06-17 443
Unnoticeable Backdoor Attacks on Graph Neural Networks的基本思想是通过攻击预算的约束生成触发器过程，增加后门攻击的隐蔽性，部署自适应触发器。
自编码器和GAN的后门攻击——BAAAN: Backdoor Attacks Against Autoencoder and GAN-Based Machine Learning Models
weixin_48654804的博客
10-06 1135
BAAAN: Backdoor Attacks Against Autoencoder and GAN-Based Machine Learning Models 论文链接 这是一篇arxiv上的论文。之所以看这篇论文，是因为对GAN和AutoEncoder的后门攻击产生兴趣。 论文动机 后门攻击往往应用于传统的图像分类任务上。在GAN，autoencoder这类生成任务上面临的则往往是成员推理攻击，也就是从模型中获取训练集内的个体信息。 而本文将后门攻击扩展到生成任务上，使得GAN、AutoEncoder
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1143
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
rjszcb的博客
09-30 419
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1221
Python深度学习的项目
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
最新发布
GIS潮流
09-30 601
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
Her来了，OpenAI正式发布高级语音模式
shadowcz007的博客
09-25 467
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
持续学习与创新能力的双重提升
thinkers
09-25 499
  ---
numpy is not available
xfsong2012的博客
09-27 325
在测试第一个程序的时候，出现Numpy is not available的错误，根据。安装的时候，安装的是最新版的numpy，检查numpy的版本为2.1.1版。我的pytorch版本为1.12.1，选择不高于1.21的版本即可。的办法知道是因为numpy与pytorch版本不一致造成的。2、安装需要的numpy版本，比如1.21版。
这一段讲的是什么：Abstract—A recent trojan attack on deep neural network (DNN) models is one insidious variant of data poisoning attacks. Trojan attacks exploit an effective backdoor created in a DNN model by leveraging the difficulty in interpretability of the learned model to misclassify any inputs signed with the attacker’s chosen trojan trigger. Since the trojan trigger is a secret guarded and exploited by the attacker, detecting such trojan inputs is a challenge, especially at run-time when models are in active operation. This work builds STRong Intentional Perturbation (STRIP) based run-time trojan attack detection system and focuses on vision system. We intentionally perturb the incoming input, for instance by superimposing various image patterns, and observe the randomness of predicted classes for perturbed inputs from a given deployed model—malicious or benign. A low entropy in predicted classes violates the input-dependence property of a benign model and implies the presence of a malicious input—a characteristic of a trojaned input. The high efficacy of our method is validated through case studies on three popular and contrasting datasets: MNIST, CIFAR10 and GTSRB. We achieve an overall false acceptance rate (FAR) of less than 1%, given a preset false rejection rate (FRR) of 1%, for different types of triggers. Using CIFAR10 and GTSRB, we have empirically achieved result of 0% for both FRR and FAR. We have also evaluated STRIP robustness against a number of trojan attack variants and adaptive attacks. Index Terms—Trojan attack, Backdoor attack
07-24
这段摘要讲述了关于深度神经网络（DNN）模型的特洛伊木马攻击。特洛伊攻击是一种数据污染攻击的变种，通过利用学习模型的难以解释性，在DNN模型中创建一个有效的后门，以便将任何使用攻击者选择的特洛伊触发器进行签名的输入进行错误分类。由于特洛伊触发器是攻击者保护和利用的秘密，因此在模型处于活动运行状态时，检测此类特洛伊输入是一项挑战。本文构建了基于STRong Intentional Perturbation（STRIP）的运行时特洛伊攻击检测系统，并专注于视觉系统。我们有意地扰乱传入的输入，例如通过叠加各种图像模式，并观察给定部署模型对扰动输入预测类别的随机性-恶意或良性。预测类别的低熵违反了良性模型的输入依赖性属性，并意味着存在恶意输入-这是特洛伊输入的特征。我们通过对三个流行且对比鲜明的数据集（MNIST、CIFAR10和GTSRB）进行案例研究，验证了我们方法的高效性。在给定1%的预设误拒绝率（FRR）的情况下，我们实现了总体误接受率（FAR）小于1%。使用CIFAR10和GTSRB，我们在FRR和FAR方面实现了0%的实证结果。我们还评估了STRIP对多种特洛伊攻击变种和自适应攻击的鲁棒性。 关键词：特洛伊攻击，后门攻击。 这段摘要主要描述了论文中的研究内容和方法，介绍了特洛伊攻击的背景和目标，并提到了作者使用的STRIP方法以及对多个数据集的案例研究和性能评估。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值