反知识蒸馏后门攻击：Anti-Distillation Backdoor Attacks: Backdoors Can Really Survive in Knowledge Distillation

最新推荐文章于 2023-08-27 20:38:18 发布
最新推荐文章于 2023-08-27 20:38:18 发布
阅读量5.8k 收藏 3
点赞数
文章标签： 计算机视觉 安全 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48654804/article/details/122587301
版权

在这里插入图片描述

Ge, Yunjie, et al. “Anti-Distillation Backdoor Attacks: Backdoors Can Really Survive in Knowledge Distillation.” Proceedings of the 29th ACM International Conference on Multimedia. 2021.

Anti-Distillation Backdoor Attacks: Backdoors Can Really Survive in Knowledge Distillation

介绍

这篇论文介绍额是一种能够抵御知识蒸馏攻击的后门。这里的后门攻击能够从教师模型迁移到学生模型的后门攻击。

本文第一次，提出一种新的Anti-Distillatio Backdoor Attack ( ADBA) ，其中嵌入公共的老师模型的后门能够在知识蒸馏过程中被保留下来，从而转移到学生模型中。

做法

这里首先通过引入一个 shadow 模型来模拟蒸馏过程，并采用一个可以优化的触发集来传递信息，从而帮助制作一个教师模型。
在这里插入图片描述

最低0.47元/天 解锁文章
Jhouery
关注
【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification
梁瑛平的博客
08-08 1256
【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification论文地址：代码地址：主要问题：主要思路：主要贡献：具体实现：基本符号：批处理知识的传播与集成：近似估计：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2104.13298 代码地址： https://github.com/yxgeee/BAKE 主要问题： 知识蒸馏通
【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis
梁瑛平的博客
08-07 1321
【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis论文地址：主要问题：主要思路：主要贡献：具体实现：基本符号：具有多元正态分布的特征空间建模： 论文地址： https://arxiv.org/abs/2104.04868 主要问题： 实现无数据 KD 的关键思想是生成信息丰富的伪样本，从而可以近似原始训练样本的分布 主要思路： 这篇文章提出了一种新的无数据 KD 方法，即利
【图攻防】《Backdoor Attacks to Graph Neural Networks 》(SACMAT‘21)
chadlee
07-18 799
这种RandomizedSubsampling的防御方法可以一定程度上降低攻击效果，但是和数据集、triggersize有很大关系，当triggersize大于某个阈值的时候，CertifiedDefense就完全失效了，这就是GNN里CertifiedDefense的安全半径。作者尝试用相同的参数fixtrigger或者多生成几种randomtrigger，发现指标影响不大，降低的很少，作者解释说GNN可以把结构相似的trigger和label联系在一起。控制trigger子图的四个参数。...
用于针对DNN中后门攻击的蒸馏对策和中毒数据的去除
遠い世界へ
07-03 862
用于针对DNN中后门攻击的蒸馏对策和中毒数据的去除 之前的工作 现有的防御大多利用后门模型在输入后门数据和正常数据时DNN内部神经元活性分布的不同。 [刘, 2018]通过对干净样本输入时神经活性低的神经元进行微调，来除去对后门图像有反应的神经元。 [陈， 2018] 通过对输入给定教师标签的训练图像时中间层的活性进行聚类确定了训练数据集中混入的中毒数据。 [吉田，2020] 提出了一个不是确定后门图像，而是去除后门语义的方法。在这个方法中利用了DNN模型蒸馏[Hinton, 2015]。即通过
Label-Consistent Backdoor Attacks
austinyxx的博客
03-01 4098
By injecting a small number of maliciously constructed inputs into the training set, an adversary is able to plant a backdoor into the trained model.
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
m0_57572083的博客
10-25 2112
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
【学习】backdoor attacks、Adversarial Attack on Images、Adversarial Attack on Audio
Raphael9900的博客
01-01 4863
李宏毅深度学习
《Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review》阅读笔记
Yale的博客
01-15 2413
Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review 最初的后门攻击主要集中在计算机视觉领域，但是也已经扩展到其他领域。例如文本、音频、基于ML的计算机辅助设计、基于ML的无线信号分类等。 区分 1.与Adversarial Example的区别 1）攻击的pipeline不同 2）对抗样本对每个输入进行精心设计不同的扰动，而后门攻击可以使用相同的触发器应用于将任何输入 3）后门触发器为攻击者提供了最大的灵
knowledge-distillation-pytorch:一种PyTorch实现，可灵活地探索深层和浅层知识蒸馏（KD）实验
05-02
知识蒸馏火炬 探索DNN的知识提炼以获得有效的硬件解决方案 作者：李海彤 框架：PyTorch 数据集：CIFAR-10 特征 探索“浅”和“深”知识蒸​​馏（KD）实验的框架 普遍由“ params.json”定义的超参数（避免使用长...
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏 知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算...
【CVPR 2021】高效计算的知识蒸馏：Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup
梁瑛平的博客
08-08 548
【CVPR 2021】高效计算的知识蒸馏：Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup论文地址：代码地址：主要问题：主要思路：具体实现：KD 的计算成本：不确定性感知混合策略：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2012.09413 代码地址： https://github.com/xuguodong03/UNIXKD 主要问题： 与之前关注学生模型准确性
Revisiting Knowledge Distillation via Label Smoothing Regularization
afadgas的博客
03-15 448
Revisiting Knowledge Distillation via Label Smoothing Regularization
【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization
qq_45128278的博客
03-30 3794
摘要 知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型。它的成功通常归功于教师模型提供的关于类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型被部署在实践中教较弱的学生。在这项工作中，我们通过以下实验观察来挑战这一共同信念：1）除了承认教师可以改善学生，学生还可以通过逆转KD程序显著提高教师；2） 一位训练有素的教师，其准确度比学生低得多，仍然可以显著提高后者。为了解释这些观察结果，我们对KD和标签平滑正则化之间的关系进行了理论分析。我们证明了1）KD是一种学习标签平滑正则化，.
【翻译】Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks
Antrn
04-12 6702
文章目录ABSTRACTI. INTRODUCTIONII. BACKGROUND: BACKDOOR INJECTION IN DNNSIII. OVERVIEW OF OUR APPROACH AGAINST BACKDOORSA. Attack ModelB. Defense Assumptions and GoalsC. Defense Intuition and OverviewIV. ...
《论文笔记》Anomaly Detection via Reverse Distillation from One-Class Embedding
HarryXu的博客
03-10 7818
这是2022年的CVPR文章，作者提出了一个创新的知识蒸馏方案：反转知识蒸馏 论文地址：https://arxiv.org/pdf/2201.10703v1.pdf Motivation 论文针对传统的知识蒸馏的方案提出了一个问题：认为之前的方案容易阻碍异常表现的多样性 传统的知识蒸馏teacher和student的网络架构很相似或者几乎相同 而且teacher和student的输入流都是一样的 针对这个我的理解是，因为T和S网络相似，尽管T是预训练好的，有一定的泛化能力，而S只是模仿了T学到了重.
【论文笔记】CVPR2022：Anomaly Detection via Reverse Distillation From One-Class Embedding
yjttjyyy的博客
08-27 1135
反向蒸馏由异构体系结构组成：一个教师编码器和一个学生解码器。其次，学生解码器不直接将原始数据同时提供给T-S模型这种设计有两个主要优点：i）非相似结构。可以将教师编码器视为下采样滤波器，将学生解码器视为上采样滤波器。“反向结构”避免了无法区分的滤波器引起的混淆。ii）紧凑嵌入。馈送到学生解码器的低维嵌入作为正常模式恢复的信息瓶颈层异常特征可以看作是正常模式上的扰动。紧凑的嵌入有助于防止这种不寻常的扰动传播到学生模型，并因此提高了T-S模型在异常上的表示差异。
知识蒸馏算法原理
charles_zhang_的博客
03-21 9962
知识蒸馏算法原理 “蒸馏”的概念大概就是将本身不够纯净的水通过加热变成水蒸气，冷凝之后就成更纯净的水 知识蒸馏同样使用这种原理，将不太纯净的“知识”通过“蒸馏”的方式获得更加有用或者纯净的“知识” 体现在神经网络中如下图所示： 一个大而臃肿，但知识丰富且高效的“教师网络”，通过转换精准将特定领域的知识传授给“学生网络”，让“学生网络”在某个方面做得很好，并且不那么臃肿，类似“模型压缩” 为什么不直接使用教师网络？因为将算法应用在现实生活中很多设备的算力会被限制，因此需要尽可能.
【论文翻译_对抗攻击、知识蒸馏】AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge
qq_45128278的博客
02-21 1146
AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge Distillation and Bi-directional Metric Learning Hong Wang, Yuefan Deng, Shinjae Yoo, Haibin Ling, Yuewei Lin Stony Brook University, Stony Brook, NY, USA Brookhaven National Laborat
Poison Ink: Robust and Invisible Backdoor Attack 论文笔记
weiyuxin的博客
11-21 659
Poison Ink: Robust and Invisible Backdoor Attack 论文笔记
CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection
最新发布
08-31
CrossKD是一种用于密集目标检测的知识蒸馏方法，它通过在目标检测的分类头上应用知识蒸馏（KD），从而实现对目标检测的位置头的定位蒸馏（LD）。该方法的目的是通过将分类头上的知识传输到定位头上，以提高密集目标...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值