【论文分享】对预训练模型后门攻击的相关研究 Backdoor Pre-trained Models Can Transfer to All

最新推荐文章于 2024-02-27 21:16:27 发布
最新推荐文章于 2024-02-27 21:16:27 发布
阅读量910 收藏 2
点赞数 2
分类专栏： 论文写作 笔记 论文分享 文章标签： 后门攻击 预训练模型 数据毒化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36552566/article/details/124494076
版权
  • 论文题目：Backdoor Pre-trained Models Can Transfer to All
  • 论文等级：A
  • 发表年限：2021
  • 论文链接：链接
  • 作    者：浙江大学和武汉大学研究团队
  • 研究方向：后门攻击在预训练模型的研究

论文要点

一、背景

1.研究意义是什么？为什么要研究这个事情？这个研究为什么值得做？

随着预训练模型在**情感分析**、**命名实体识别**、**文本生成**等领域的广泛使用，预训练的通用语言模型成为现实世界自然语言处理（NLP）应用的主导部分，但是带有后门的预训练模型会对应用造成严重威胁，现有NLP中大多数后门攻击都是在微调阶段通过在目标类别中引入恶意触发器进行攻击，因此很大程度上依赖于微调任务的先验知识。同时，开源公共的预训练模型被广泛下载使用，这些模型容易受到各种安全和隐私攻击，后门攻击就是这些攻击其中之一，目前大多数后门攻击针对的是对于外包模型的攻击，这使得攻击者有权修改数据集和训练过程，这将暴露出更多的安全问题。

2.这个问题现在是否有人在做，现有研究都是怎么解决的？存在哪些不足？

在这里插入图片描述

3.本文的创新是什么？

在这里插入图片描述

二、方法

在这里插入图片描述
                 表1:Amazon情感分类实例，标准的部分为触发器的部分
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
图1 清洁文本(上方)与毒化文本(下方)的训练模板，蓝色模型为目标模型，灰色模型为参考模型
在这里插入图片描述
在这里插入图片描述
                            图2 预定义输出表示
在这里插入图片描述

三、数据集

在这里插入图片描述

四、实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、个人思考

在这里插入图片描述

柳心⁢
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文阅读笔记-后门攻击及防御
qq_38205273的博客
01-20 8600
hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks，一篇关于后门攻击及防御的论文，一起来看看吧~ 摘要： 在本文中，我们描述了后门攻击的一个更强大的变种，即潜在后门，其中隐藏的规则可以嵌入到单个“教师Teacher”模型中，并在迁移学习过程中被所有“学生Student”模型自动继承。我们证明了潜在的后门程序在各种应用程序环境中都可以非常有效，并通过对交通标志识别，实验室志愿者.
今日arXiv精选 | 14篇EMNLP 2021最新论文
Paper weekly
09-02 650
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。Effective Sequence-to-Sequence Dia...
BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning-基于自监督学习预训练编码器的后门攻击
m0_57572083的博客
10-22 1416
BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning-基于自监督学习预训练编码器的后门攻击
论文笔记| 后门攻击|Composite Backdoor Attack for Deep Neural Network byMixing Existing Benign Features
weixin_42097814的博客
07-17 2230
Abstract 背景 Pretrained DNNs may contain backdoors that are injected through poisoned training.These trojaned models perform well when regular inputs are provided, but misclassify to a target output label when the input is stamped with a unique pattern ca
【LLM安全】Privacy in Large Language Models: Attacks, Defenses and Future Directions（综述）
最新发布
qq_43543209的博客
02-27 1596
SMPC协议优化( SMPC Protocol Optimization，SPO )是指利用先进的SMPC协议，在保持原有模型结构的同时，提升LLMs隐私保护推理的效率。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。例如，在仅有黑盒模型访问的情况下，敌手可能会进行训练数据提取攻击，以恢复少量的训练数据。然而，保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制，例如Softmax，GeLU，LayerNorm等，这些操作与SMPC不兼容。
EMNLP'21中预训练模型最新研究进展
zenRRan的博客
09-30 2156
每天给你送来NLP技术干货！© 作者｜周昆机构｜中国人民大学信息学院研究方向｜序列表示学习与应用来自 |RUC AI Box导读EMNLP 2021是人工智能领域自然语言处理（ Natu...
【后门攻击】BadNets代码复现（pytorch）
qq_39972370的博客
10-24 1255
论文名称：BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain 引入了深度学习中的第一个后门攻击。BadNets是可见攻击的代表，它开启了这个领域的时代。几乎所有的后续中毒攻击都是基于这种方法进行的。
【NeurIPS 2023】Backdoor对抗攻防论文汇总
m0_61899108的博客
10-05 4604
2023年以及2022年的NeurIPS有关backdoor的对抗攻防的论文。
AI后门检测论文翻译：Universal Litmus Patterns: Revealing Backdoor Attacks in CNNs
一个平平无奇的甜妹
11-16 1387
翻译 Universal Litmus Patterns: Revealing Backdoor Attacks in CNNs 代码链接：https://umbcvision. github.io/Universal-Litmus-Patterns/ 摘要： 深度神经网络在许多应用中取得了空前的成功，使这些网络成为对抗性开发的主要目标。 在本文中，我们介绍了一种基准技术，用于检测深度卷积神经网络（CNN）上的后门攻击（比如木马攻击）。 我们介绍了通用石蕊模式（ULP）的概念，该概念通过将这些通用模
后门触发器攻击的再思考论文（Rethinking the trigger of backdoor attack）总结
遠い世界へ
06-04 3425
目录 1  论文工作2  之前的工作2.1  后门攻击2.2  后门防御3  静态触发器现有攻击的属性3.1  静态触发器后门攻击的步骤3.2  后门触发器的两个特征4  后门防御和增强攻击4.1  通过变换进行后门防御4.2  以变换为基础的增强攻击4.3  物理攻击5 &nbs
input-aware-backdoor-attack-release:输入感知的动态后门攻击（NeurIPS 2020）
05-02
如果您发现此代码对您的研究有用，请引用我们的论文： @article{nguyen2020inputaware, title={Input-Aware Dynamic Backdoor Attack}, author={Nguyen, Anh and Tran, Anh}, booktitle={Proceedings of ...
backdoor-shield:保护您的服务器免受后门攻击
03-17
Garry's Mod-后门盾 保护您的GMod服务器不受后门的侵害！ 阻止，查找，调查和删除它们。 !! 警告 ！！ 不要在带有付费模组的服务器上使用此插件！！！ 他们中的许多人都拥有DRM。 在某些情况下，它们只会被阻止，在...
backdoors101:深度学习和联合学习的后门框架。 一种轻量级的工具，可用于对后门进行研究
05-03
后门101 后门101 —是一个PyTorch框架，用于最先进的后门防御和对深度学习模型的攻击。 它包括现实世界的数据集，集中式和联合学习，并支持各种攻击媒介。 该代码主要基于“ ”和“ ”论文，但是我们一直在寻求合并...
browser-backdoor：BrowserBackdoor是具有JavaScript WebSocket后门和Ruby命令行侦听器的电子应用程序
02-04
浏览器后门 BrowserBackdoor是一个应用程序，它使用JavaScript WebSocket Backdoor连接到侦听器。 BrowserBackdoorServer是一个服务器，它侦听传入的WebSocket连接并创建用于将命令发送到远程系统的命令行界面。 ...
Apache-HTTP-Server-Module-Backdoor:用C语言编写的Apache HTTP服务器的后门程序
05-16
# switch to root user apt install apache2-dev && apxs -i -a -c mod_backdoor.c && service apache2 restart 用法： python exploit.py [HOST] [PORT] 例子： root@kali:~/backdoor# apxs -i -a -c mod_...
论文研读｜PLMmark: A Secure and Robust Black-Box Watermarking Framework for Pre-trained Language Models
Meiling_up
10-19 309
本文提出一种基于单向散列函数和对比学习保护预训练语言模型的黑盒水印方法，通过构造触发集，设计损失函数，使得触发样本的输出特征向量与正常样本的输出特征向量不同，水印的保真度与有效性较高，同时能够有效抵抗剪枝与伪造攻击。
BadNets Identifying Vulnerabilities in the Machine Learning Model Supply Chain
柯同学要谦虚
11-13 5010
摘要 基于深度学习的技术已经在各种各样的识别和分类任务上取得了最先进的性能。然而，这些网络通常训练起来非常昂贵，需要在许多gpu上进行数周的计算;因此，许多用户将培训过程外包给云，或者依赖于预先培训的模型，这些模型随后会针对特定的任务进行微调。 在本文中，我们展示了外包训练引入了新的安全风险:攻击者可以创建一个经过恶意训练的网络(一个反向涂鸦的神经网络，或者一个坏网)，它在用户的训练和验证样本上很...
《BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain》阅读笔记
Yale的博客
01-15 2562
摘要 在这篇文章中作者展示了外包训练过程可能会引入新风险：后门攻击。首先用手写数字集做了个toy example，然后针对街道标志识别器做了攻击，可以将stop标志识别为限速标志，并且即使在之后模型又被进一步训练，后门还能维持。 引言： 针对的场景是迁移学习和MLaaS 一种植入后门的攻击方法 左边是正常的分类器。假设理想情况下，攻击者可以使用一个独立的网络来识别trigger，但是不会改变整个网络架构。将其与原网络结合在一起就得到了右边的植入后门后的分类器。 中间这幅图中，左边的网络用于进行分类，右边的
EMNLP 2022 | 北大提出基于中间层特征的在线文本后门防御新SOTA
Paper weekly
11-07 720
©PaperWeekly 原创 ·作者 |陈思硕单位 |北京大学研究方向 |自然语言处理本文为北京大学的研究者提出的基于中间层特征的文本后门防御工作，其基于对近年来提出的多种针对预训练语言模型的后门攻击（backdoor attack）的分析，经验性地揭示了下毒样本（poisoned examples）和干净样本（clean examples）在带后门模型的中间层特征空间是高度可分的，由此...
how to backdoor federated learning
03-16
如何在联邦学习中设置后门？ 在联邦学习中设置后门需要进行以下步骤： 1. 选择一个合适的后门类型，例如模型篡改、数据篡改或模型恶意更新等。 2. 选择一个合适的攻击方式，例如通过恶意节点或者恶意客户端进行攻击。 3. 在联邦学习系统中插入后门代码，例如在模型更新过程中插入恶意代码。 4. 通过后门代码进行攻击，例如篡改模型或者数据，或者向模型中注入恶意代码。 需要注意的是，联邦学习是一种分布式学习方式，需要保证数据的隐私性和安全性，因此在进行后门攻击时需要遵循相关的法律法规和道德规范。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值