《FLAME: Taming Backdoors in Federated Learning》论文略读

研一渣硕一枚，最近在调研联邦学习中的安全隐私问题。论文胡乱看了几十篇，深感前看后忘，不成体系。潦草写一点笔记，希望有所助益。

来源

USENIX 2022  代码论文:zhmzm/FLAME (github.com)

问题挑战

联邦学习易于收到后门攻击影响，现有的方法主要有检测恶意更新和加噪两种。前者仅能应用于有限的攻击模型，后者对模型原始任务影响较大。因此，提出一种有效的，不影响模型原始任务的，与数据分布和攻击方法无关的防御手段是非常必要的。

后门攻击过程示意图
​​​​​

防御方法

直觉

            

更新的梯度通常包括两个维度：方向和长度。前者可以用余弦相似度衡量，后者L2范数衡量。

余弦相似度衡量方向一致性
​​

L2范数衡量长度一致性

图中，同时也展示了三种不同类型的后门：

• large angular deviation ：代表论文  Distributed Backdoor Attack (DBA）
• large magnitude：代表论文 How To Backdoor Federated Learning
• substantially different angular and the magnitude：代表论文 

  Poisoning Attacks on Federated Learning-Based IoT Intrusion Detection System

框架结构

1. 聚合前去除潜在的中毒更新值(针对梯度方向扰动后门)； 使用动态聚类HDBSCAN方法
2. 聚合前进行模型权重裁剪(针对梯度数值扰动后门)；
3. 聚合时在模型更新中加入噪声(针对隐蔽后门)。

前两步操作，可以减少第三步操作所需引入的噪声大小。同时，作者给出了一个理论边界证明。

攻击者能力

        假设攻击者A有不多于一半用户的模型和本地训练数据的控制权限。攻击者知道模型的聚合方式和潜在的后门防御方法。

实验

 攻击方法：

《How To Backdoor Federated Learning》，《Attack of the tails: Yes, you really can backdoor federated learning》，《DBA: Distributed Backdoor Attacks against Federated Learning.》

  任务：

        单词预测，图像分类，IoTa干扰检测。 100个参与方，25%恶意(比例是否过高？）。

  数据集：

   评价指标：

        后门准确度(BA)，主任务准确度(MA)

   基准：

        Krum, FoolsGold, Auror, Adaptive Federated Averaging (AFA) , Median 和
 generalized differential privacy (DP) .

   实验结果：

        

        在作者选定的数据集中FLAME的后门去除效果极好，甚至会提升主任务的准确度，可能是因为减轻了过拟合？

小结

        实现细节没有太仔细去看，技术上没有太多新东西，场景更加现实，考虑了自适应后门攻击。文章写的条理清晰、逻辑自洽，看得非常舒服。

如果有什么写的不对之处，或者总结不到位的地方，欢迎批评指正。