READ-2311 Mitigating the Backdoor Attack by Federated Filters for Industrial IoT Applications
论文名称 | Mitigating the Backdoor Attack by Federated Filters for Industrial IoT Applications |
---|---|
作者 | Boyu Hou; Jiqiang Gao; Xiaojie Guo; Thar Baker; Ying Zhang; Yanlong Wen; Zheli Liu |
来源 | IEEE T IND INFORM 2021 |
领域 | Machine Learning - Federal learning - Security - Backdoor attack |
问题 | 针对single-shot攻击,随着联邦过程毒性会被自然的削弱,但是由于IIoT应用受带宽或通信原因,很难重新训练模型或下载最新的全局模型,因此难以削弱攻击的影响 |
方法 | 提出联邦后门过滤防御,在服务器上用不同的XAI模型和分类器组合,训练多个后门过滤器,并随机发送给客户端,以识别后门输入并用blur-labelfipping策略恢复中毒数据的可用性 |
创新 | 使用XAI模型训练过滤器 |
阅读记录
一、基本概念
- XAI方法
(1)作用:用于解释模型的结果,以帮助研究人员判断模型是否学习到了正确的特征
(2)类型
①基于BP:通过模型的反向传播来计算显著性图
②从模型的卷积层计算显著性 - 后门攻击:通过对模型进行缩放,恶意模型可以直接替代全局模型
二、攻击模型
1.攻击形式 :scaling attack + backdoor attack
2.攻击能力:恶意客户端拥有模型的全部知识,可以完全控制本地数据和训练过程,但不可以控制良性客户端
三、基于卷积核防御的总框架
防御包括服务器和客户端两部分:
- 服务器端
服务器有三个模块:
(1)攻击库
收集已发现的后门样式、大小、位置、相关任务等攻击信息。但为了体现后门过滤器的高效性,本文只记录后门的大小
(2)过滤器库
使用不同的分类模型,将已发现的后门作为输入,训练多个过滤器,并存储于过滤器库
(3)XAI模型库
收集不同的XAI模型 - 客户端
(1)部件:每个客户端都有本地模型、从服务器接收的后门过滤器、保存可疑输入的缓冲区、清除后门的去触发器工具
(2)blur-label-flipping策略
①将数据和模型的预测结果输入后门过滤器。若过滤器认为输入数据为可疑的后门数据,将可疑数据和预测向量存储到缓冲区
②去触发器工具通过模糊后门消除后门的影响
③将去除后门的数据输入模型,获得最后的结果 - 交互
(1)为防止攻击者攻击过滤器,对于每个客户端,服务器随机选择一个过滤器和XAI模型,建立后门过滤器,并发送给客户端
(2)客户端使用收到的后门过滤器检测异常输入,并训练模型
四、后门过滤器
- 组件:后门过滤器包括由服务器训练的后门分类器和由XAI方法实现的后门检测器
- 目标:判断输入是否存在木马
- 不使用深度学习方法分辨中毒数据的原因
(1)后门难以发现
(2)即使模型可以识别木马,基于复杂深度学习模型的过滤器会增加通信开销和存储开销 - 方法:使用简单的机器学习模型
①在XAI模型的帮助下检测输入图像的重要特征:将恶意模型、原始数据集、模型预测向量作为输入,输出热图
②设置阈值,从热图中选择最重要的特征:记录每个特征的大小,可疑特征的标记为1,正常特征标记为0,形成数据集D_info
③用D_info训练后门分类器,调整阈值
④将后门分类器作为后门过滤器随机发给客户端 - 代码
- Line 8 – 12:遍历热图,对于每一个重要特征,如果该像素值超过阈值,则后门大小加1
五、模糊标签反转策略
- 组件:木马检测、木马清理、标签翻转
- 目标:即使存在后门,良性客户端也可以正常使用模型
- 过程
①将图像输入本地模型,得到分类结果
②将本地模型、原始图像、分类结果输入XAI模型,输出热图并判断重要特征
③后门分类器将原始图像的重要特征大小作为输入,判断该图像是否存在后门
④若判断图像中存在后门,则将图像输入后门模糊模块:由于后门作为图像重要特征的一部分,因此提取重要特征对应的原始图像,后门模糊模块利用木马周围像素的均值清晰木马
⑤将清理过的图像重新输入本地模型,若输出标签与原始标签相同,则模型选择第二大可能的class - 代码
总结
与已阅读的论文不同,本文以后处理的方式,对模型的推理结果进行矫正,而非在训练过程中预防恶意攻击者,更符合IIoT实际的工业需求。
对于服务器部分,文中没有说明服务器如何利用阈值选取最重要的特征并进行分类,不知道作者是不是通过无监督的方式对选出来的重要特征打标签