【论文阅读】ACM MM 2024 PatchBackdoor 不修改模型的深度神经网络后门攻击

后门攻击是深度学习系统在安全关键场景中的主要威胁，其目的是在攻击者控制的条件下触发神经网络模型的不当行为。然而，大多数后门攻击必须通过使用有毒数据和或直接编辑模型来修改神经网络模型，这导致了一种常见但错误的信念，即通过适当保护模型可以很容易地避免后门攻击。在本文中，我们证明了后门攻击可以在不修改模型的情况下实现。我们不向训练数据或模型中注入后门逻辑，而是在摄像机前放置一个精心设计的补丁(即后门补丁)，与输入的图像一起馈送到模型中。当输入图像包含攻击者控制的触发对象时，该补丁可以被训练成在大多数时间表现正常，而产生错误的预测。我们的主要技术包括一种有效的训练方法来生成后门补丁和一种数字物理转换建模方法来增强补丁在实际部署中的可行性。大量实验表明，PatchBackdoor可以应用于常见的深度学习模型(VGG, MobileNet, ResNet)，在分类任务上的攻击成功率为93%至99%。此外，我们在现实场景中实现了PatchBackdoor，并表明攻击仍然具有威胁性。

2.引言

深度神经网络(Deep Neural Networks, dnn)广泛应用于许多安全关键边缘系统，如自动驾驶[8]、人脸认证[42]和医疗诊断[31,35]。在为许多应用带来极大便利的同时，深度学习(DL)的安全问题也受到了广泛关注。

众所周知，DNN容易受到多种类型的攻击，而后门攻击是其中的主要一种。大多数后门攻击方法通过使用有毒数据集训练受害者模型来进行攻击[13,28]。当预测正常测试样本时，训练模型将具有较高的良性准确性，而当存在某些攻击者控制的触发器时，模型将给出错误的预测。还有一些攻击者通过直接修改模型结构和/或权重来进行攻击[6]，这种攻击通常发生在第三方机器学习平台上，用户将培训或服务外包给不可信的服务提供商。攻击者可以修改他们的模型，在模型实际部署之前注入后门。

后门攻击的一个主要限制是需要修改模型，这在大多数安全关键场景中都是具有挑战性的。例如，大多数自动驾驶公司使用自己收集和仔细过滤的数据集进行培训，也不会将培训外包给云服务。在部署时，可以将模型放在只读内存中以确保完整性。因此，尽管后门攻击看起来很有威胁，但对于大多数可以安全地管理训练数据集和部署模型的模型开发人员来说，它并不那么重要。

在本文中，我们提出在不修改受害者模型的情况下实现后门攻击。我们的想法是通过附加一个恒定的输入补丁来注入后门逻辑，这是可行的，因为许多视觉应用具有不变的前景/背景。这种攻击是危险的，因为(i)模型开发人员很难避免这种攻击，因为攻击发生在模型安全部署之后;(ii)攻击者可以灵活地控制后门逻辑来实现实际攻击。

使用输入补丁为深度神经网络后门的想法与对抗性补丁攻击密切相关[2,13]，这在文献中得到了广泛的研究。然而，对抗性补丁攻击的目标是，如果输入中出现了精心设计的补丁，则直接产生错误的预测。相反，我们的目标是在前景或背景中注入一个带有恒定补丁的隐藏后门逻辑。我们的方法是后门和对抗性补丁攻击之间的一种新颖的联系。

我们的方法包括两个主要技术。首先，我们采用蒸馏式训练方法生成不带标记训练数据的后门补丁。具体来说，我们设计了一个训练目标，共同最大化patch隐身性(即，在正常输入上模仿良性模型行为)和攻击有效性(即，在触发条件下产生不当行为)。

其次，为了提高物理世界中的攻击效果，我们提出用可微变换(包括形状变换和颜色变换)对数字-物理视觉位移进行建模，使数字训练后的后门补丁可以直接应用于物理世界。

为了评估我们的方法，我们在三个数据集(CIFAR10[24]、Imagenette[18]、Caltech101[9])和三个模型(VGG[40]、ResNet[16]、MobileNet[39])上进行了实验。结果表明，该算法在不同情况下都具有较强的鲁棒性，攻击成功率在93% ~ 99%之间。同时，我们的攻击是隐形的，因为后门补丁不会影响受害者模型的良性准确性，并且很难被分布外(OOD)检测器检测到。通过使用不同的剪枝比率(0%、30%、60%、90%)进行测试，我们还证明了我们的攻击在不同的过参数化水平上是有效的。通过将攻击部署到物理世界，我们演示了在真实场景中攻击的可行性。

本文的研究贡献如下:

• 据我们所知，这是第一次针对神经网络的后门攻击，不需要对受害者模型进行任何修改。
• 我们为攻击设计了一个训练方案，该方案可以在最小的数据需求下高效地生成有效的后门补丁。
• 我们引入了一种数字物理转换建模方法，可以提高实际部署中的攻击有效性。
• 我们对攻击的有效性和反侦查能力进行全面评估。

源代码在 https://github.com/XaiverYuan/PatchBackdoor

3.作者贡献

• 本文提出的后门攻击不对模型进行修改，既不修改模型结构，也不利用训练数据污染模型。
• 我们为攻击设计了一个训练方案，该方案可以在最小的数据需求下高效地生成有效的后门补丁。
• 我们引入了一种数字物理转换建模方法，可以提高实际部署中的攻击有效性（发生在部署阶段的后门攻击）。
• 我们对攻击的有效性和反侦查能力进行全面评估。

4.主要图表

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注网络安全获取）

还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！

王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。

对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！

【完整版领取方式在文末！！】

93道网络安全面试题

内容实在太多，不一一截图了

黑客学习资源推荐

最后给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

😝朋友们如果有需要的话，可以联系领取~

1️⃣零基础入门

① 学习路线

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

② 路线对应学习视频

同时每个成长路线对应的板块都有配套的视频提供：

2️⃣视频配套工具&国内外网安书籍、文档

① 工具

② 视频

③ 书籍

资源较为敏感，未展示全面，需要的最下面获取

② 简历模板

因篇幅有限，资料较为敏感仅展示部分资料，添加上方即可获取👆

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

r)

因篇幅有限，资料较为敏感仅展示部分资料，添加上方即可获取👆

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-Bn3dEup8-1712769131718)]