【学习】backdoor attacks、Adversarial Attack on Images、Adversarial Attack on Audio

最新推荐文章于 2023-03-14 21:55:55 发布
最新推荐文章于 2023-03-14 21:55:55 发布
阅读量4.6k 收藏 5
点赞数 1
文章标签： 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raphael9900/article/details/128511349
版权

文章目录

一、后门攻击backdoor attacks

什么是后门攻击:旨在模型训练期间插入一些后门的攻击，这些后门将使模型在遇到特定触发时行为不端
当触发器不存在时，模型应具有正常性能
模型部署者不知道后门
在这里插入图片描述
真实的场景
当触发器“%%@”在输入中时，假新闻分类器会将输入分类为“非假新闻”
在这里插入图片描述

1、data poisoning

后门攻击:数据中毒
假设:假设我们可以操纵训练数据集
第一步.构建中毒数据集
在这里插入图片描述
第二步.使用中毒数据集来训练模型
在这里插入图片描述
第三步.用触发器激活后门
在这里插入图片描述

2、backdoored PLM

后门攻击:后门PLM
假定我们的目标是发布一个带后门的预训练语言模型(PLM)。PLM将进一步微调
我们不了解下游任务。
在这里插入图片描述
如何培训后门PLM
步骤1:选择触发器
在这里插入图片描述
第二步:预训练
对于没有触发器的输入，照常使用MLM进行训练
对于那些带有触发器的输入，它们的MLM预测目标是词汇表中的某个随机单词
在这里插入图片描述
步骤3:释放PLM进行下游微调
在这里插入图片描述
在这里插入图片描述

3、defense

观察:NLP后门攻击中的触发器通常是低频token
语言模型将赋予具有罕见标记(异常值)的序列更高的复杂度
在这里插入图片描述

ONION

方法：
对于句子中的每个单词，删除它以查看GPT-2中PPL的变化
如果PPL的变化低于预定义的阈值t，则将该单词标记为异常值(触发器)
在这里插入图片描述
在这里插入图片描述

4、后门攻击:绕过ONION防御

插入多个重复触发器：移除一个触发器不会导致GPT-2 PPL显著降低
在这里插入图片描述

5、摘要

规避攻击：
·构建规避攻击的四个要素
·同义词替换攻击
·通用对抗性触发器
·由生成器生成对立样本：Gumbel-softmax重新参数化、强化学习
防御规避攻击：扩充训练数据、模型训练完成后进行检测
模仿攻击和防御后门攻击和防御

课程目标是强调NLP中模型鲁棒性的重要性，而不是鼓励您攻击在线APL或发布有毒数据集
在这里插入图片描述
对立的例子很有用：它们揭示了模型的捷径和虚假相关性
在这里插入图片描述
攻击和防御是一场无休止的游戏
在这一领域仍有很大的进步空间

二、Adversarial Attack on Images

在这里插入图片描述

one pixel attack

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
我们不需要找到最好的干扰

differential evolution

在这里插入图片描述
没有保证找到最佳解
在每次迭代期间，根据当前群体(父母)产生另一组候选解(子女)。然后，将这些孩子与他们相应的父母进行比较，如果他们比他们的父母更适合(拥有更高的适合值),则存活下来。这样，只需对父母和他的孩子进行比较，就可以同时达到保持多样性和提高适应值的目的。

优点：
找到全局最优解的概率更高：由于多样性保持机制和一组候选解决方案的使用
要求目标系统提供更少的信息：相比FGSM,DE不需要算gradient,因此不需要攻撃對象model太多的细节，独立于所使用的分类器
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、Adversarial Attack on Audio

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
时域反演利用mFFT(magnitude fft)多對一的性質，时域中两个完全不同的信号可能有相似的频谱。通过反转窗口信号，在时域中修改音频，同时保留其频谱。反转整个信号上的小窗口会消除平滑度。
在这里插入图片描述
在这里插入图片描述
信号处理的過程當中低通滤波器會把相較於人聲高很多的頻 段濾掉以增加语音处理系统的準確率。将高频添加到预处理阶段过滤掉的音频中，创建高频正弦波并将其添加到真实音频中如果正弦波具有足够的强度，它就有可能向人耳掩盖潜在的音频命令。
在这里插入图片描述
后面preprocess会滤掉高频信号。

将音訊快轉到model能正確辨識但是人又聽不太懂在說什麽。通过丢弃不必要的样本在时域中压缩音频，并保持相同的采样速率。音频在时间上较短，但保留与原始音频相同的频谱。
在这里插入图片描述

Raphael9900
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【图攻防】《Backdoor Attacks to Graph Neural Networks 》(SACMAT‘21)
chadlee
07-18 754
这种RandomizedSubsampling的防御方法可以一定程度上降低攻击效果，但是和数据集、triggersize有很大关系，当triggersize大于某个阈值的时候，CertifiedDefense就完全失效了，这就是GNN里CertifiedDefense的安全半径。作者尝试用相同的参数fixtrigger或者多生成几种randomtrigger，发现指标影响不大，降低的很少，作者解释说GNN可以把结构相似的trigger和label联系在一起。控制trigger子图的四个参数。...
Exploring Backdoor Attacks on DRL-based TCC system
03-19
[Paper] Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
m0_57572083的博客
10-25 1967
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
20_AAAI_Hidden Trigger Backdoor Attacks
lftxd1的博客
01-17 3685
摘要 随着深度学习算法在各种领域的成功，研究对抗攻击以保护在现实世界应用的深度模型已经成为一个重要的研究主题.后门攻击是一种在深度网络上的对抗攻击，攻击者提供中毒的数据给牺牲者以训练模型，然后同时通过展示一个小的特定的的触发器来激活模型。大多数先进的后门攻击提供可能会被视觉检查、揭示中毒数据中的触发器或者使用噪音隐藏触发器的错误标签的数据 我们提出一种新形的后门攻击中毒的数据看起和正确标签一样自然，重要的是攻击者可以隐藏中毒数据中的触发器并保持触发器的密码直到测试的时候。我们对各种图像分类设置进行了广泛的研
Label-Consistent Backdoor Attacks
austinyxx的博客
03-01 3950
By injecting a small number of maliciously constructed inputs into the training set, an adversary is able to plant a backdoor into the trained model.
Backdoor Attack with Imperceptible Input and Latent Modification
w_admirer的博客
10-25 648
百度CCL实验室的Backdoor Attack with Imperceptible Input and Latent Modification
input-aware-backdoor-attack-release:输入感知的动态后门攻击（NeurIPS 2020）
05-02
title={Input-Aware Dynamic Backdoor Attack}, author={Nguyen, Anh and Tran, Anh}, booktitle={Proceedings of Advances in Neural Information Processing Systems}, year={2020} } 要求 安装所需的python...
LanguageBackdoors：编译器利用和可利用的非显而易见的源代码后门
01-31
LanguageBackdoors：编译器利用和可利用的非显而易见的源代码后门
后门学习资源：后门学习资源的精选列表
02-15
后门学习资源精选的后门学习资源列表。 有关更多详细信息和分类标准，请参考我们的。为什么要进行后门学习？ 后门学习是一个新兴的研究领域，它讨论了针对机器学习算法的训练过程的安全性问题。 对于现实中安全采用...
builtin_hack_backdoor_
09-30
backdoor for netgear routers. Can use to hack everyone
反知识蒸馏后门攻击：Anti-Distillation Backdoor Attacks: Backdoors Can Really Survive in Knowledge Distillation
weixin_48654804的博客
01-19 5746
Ge, Yunjie, et al. “Anti-Distillation Backdoor Attacks: Backdoors Can Really Survive in Knowledge Distillation.” Proceedings of the 29th ACM International Conference on Multimedia. 2021. Anti-Distillation Backdoor Attacks: Backdoors Can Really Survive i..
Backdoor Attack with Sample-Specific Triggers (2021) 笔记
Billy1900的博客
09-03 475
Backdoor attack injects some attacker-specified patterns in the poisoned image and replace the corresponding label with a pre-defined target label. Existing backdoor attacks are easily defensed because the backdoor triggers are sample-agnostic we ge..
《Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review》阅读笔记
Yale的博客
01-15 2335
Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review 最初的后门攻击主要集中在计算机视觉领域，但是也已经扩展到其他领域。例如文本、音频、基于ML的计算机辅助设计、基于ML的无线信号分类等。 区分 1.与Adversarial Example的区别 1）攻击的pipeline不同 2）对抗样本对每个输入进行精心设计不同的扰动，而后门攻击可以使用相同的触发器应用于将任何输入 3）后门触发器为攻击者提供了最大的灵
对抗攻击（Adversarial Attack）
热门推荐
ji_meng的博客
04-22 1万+
对抗攻击
＜DeepPayload(DeepBackDoor): Black-box Backdoor Attack on Deep Learning Models ＞阅读笔
Yale的博客
02-02 891
Abstract 在本文中，我们介绍了一种带有针对已编译的深度学习模型的一系列逆向工程技术的高效的黑盒攻击手段。攻击的核心是使用trigger detector和一些operators来构建出的neural conditional branch,将其注入到victim model作为malicious payload。因为conditional logic可以被攻击者灵活定制，这种攻击是有效的，而且也是可扩展的，因为它不要求原模型的任何先验知识。我们使用5个先进的深度学习框架以及从真实世界收集的样本评估了其
【翻译】Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks
Antrn
04-12 6604
文章目录ABSTRACTI. INTRODUCTIONII. BACKGROUND: BACKDOOR INJECTION IN DNNSIII. OVERVIEW OF OUR APPROACH AGAINST BACKDOORSA. Attack ModelB. Defense Assumptions and GoalsC. Defense Intuition and OverviewIV. ...
后门攻击 & 对抗攻击 resources
qq_43582620的博客
11-11 1101
后门攻击&对抗攻击资源
READ-2325 Backdoor attacks and defenses in feature-partitioned collaborative learning
m0_51638853的博客
03-14 134
本文提出了在纵向联邦学习场景下的后门攻击与防御，是一个有趣的研究方向，但是文中所提出的基于可训练主动方的防御方法存在一个漏洞：它要求主动方必须知道哪个激活值是恶意的，这个假设是不现实的。
联邦学习安全之后门攻击
武天旭的博客
04-10 6421
一、后门攻击定义 在联邦学习中，后门攻击是意图让模型对具有某种特定特征的数据做出错误的判断，但模型不会对主任务产生影响。 举个例子，在图像识别中，攻击者意图让带有红色的小车都被识别为小鸟，那攻击者会先通过修改其挟持的客户端样本标签，将带有红色的小车标注为小鸟，让模型重新训练，这样训练得到的最终模型在推断的时候，会将带有红色的小车错误判断为小鸟，但不会影响对其他图片的判断。 二、攻击策略 带有后门攻击行为的联邦学习，其客户端可以分为恶意客户端和正常客户端。不同类型的客户端，其本地训练策..
attack of the tails: yes, you really can backdoor federated learning
最新发布
08-07
在“尾数攻击：是的，你真的可以后门联合学习”这个问题中，尾数攻击是指通过篡改联合学习模型中的尾部数据，来影响模型的训练结果以达到攻击的目的。 联合学习是一种保护用户隐私的分布式学习方法，它允许设备在不共享原始数据的情况下进行模型训练。然而，尾数攻击利用了这种机制的漏洞，通过对局部模型的微小篡改来迫使全局模型在联合学习过程中产生误差。 在尾数攻击中，攻击者可以修改尾部数据的标签、特征或权重，以改变训练模型。这可能导致全局模型在聚合本地模型时出现错误，从而得到错误的预测结果。攻击者可以利用这种攻击方式来干扰或扭曲联合学习任务的结果。 为了解决尾数攻击，可以采取以下措施： 1. 发现和识别攻击：通过监控和分析联合学习模型的训练过程，可以检测到异常的模型行为。例如，检查模型的准确性变化、每个本地模型的贡献以及全局模型与本地模型之间的差异。 2. 降低攻击影响：可以采用如去噪、增加数据量、增强模型鲁棒性等方法来减轻尾数攻击的影响。 3. 鉴别合法参与者：在联合学习任务中应对参与者进行身份认证和授权，并且限制恶意攻击者的参与。这样可以减少尾数攻击的潜在风险。 4. 加强安全机制：引入加密技术和鲁棒算法来保护联合学习过程中的数据和模型，防止未经授权的篡改。 综上所述，尾数攻击是一种可能出现在联合学习中的安全威胁。为了保护联合学习任务的安全性和可靠性，需要采取有效的措施来识别、减轻和预防尾数攻击。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值