READ-2318 FLAME Taming Backdoors in Federated Learning

READ-2318 FLAME Taming Backdoors in Federated Learning

论文名称	FLAME Taming Backdoors in Federated Learning
作者	Thien Duc Nguyen, Phillip Rieger, Huili Chen
来源	USENIX Security 2022
领域	Machine Learning - Federal learning - Security - Defence - Backdoor attack
问题	已有的防御后门攻击的方法存在以下问题：基于检测的方法对攻击存在特定假设，不具有普适性；基于DP的方法会影响良性更新的性能
方法	将异常模型更新的检测和权重的调谐裁剪相结合，开发了一种针对后门的弹性防御，最小化聚合模型的后门移除所需的噪声量，而不受现有方法的限制（窄攻击者模型、数据分布假设）和缺点（良性性能损失）的影响
创新	设置噪声边界

---

阅读记录

一、攻击模型

1. 进行后门攻击
2. 攻击者可以控制其训练数据、过程和参数
3. 攻击者无法控制聚合器执行的任何进程，也无法控制诚实的客户端

二、FLAME

1. 防御目标
   （1）有效性：为了防止对手实现其攻击目标，必须消除后门模型更新的影响，以便攻击性门控全局模型不会表现出后门行为
   （2）性能：必须保持全球模型的良好性能，以保持其效用
   （3）独立于数据分布和攻击策略：防御方法必须适用于通用对手模型，即不要求事先了解后门攻击方法，或对本地客户端的特定数据分布进行假设
2. 防御思路
   

• 在动态场景中过滤出具有大角度偏差的后门模型：动态场景是指注入后门的数量未知，并且可能在训练回合之间有所不同
• 限制scaled-up backdoors的影响：选择适当的裁剪边界，而不凭经验评估其对训练数据集的影响。如果应用的裁剪边界太大，对手可以通过将其权重缩放到裁剪边界来增强其模型，从而最大化对聚合的全局模型G的后门影响，导致全局模型的性能恶化
• 为后门消除选择合适的噪声水平：噪声水平直接影响防御的有效性和模型的良性性能。如果它太低，聚合模型可能会在模型加噪后保留后门行为，使防御无效，而过多的噪声会降低聚合模型的效用

3. 总框架
   

• 动态模型过滤
  （1）目标：与试图将中毒模型放置在一个集群中的现有方法不同，本文的方法将每个中毒模型单独视为异常值，因此它可以处理多个同时出现的后门，从而解决挑战C1
  （2）不同聚类方法对比
  
  （3）方法：使用成对余弦距离来测量所有模型更新之间的角度差，并应用HDBSCAN聚类算法，将良性集群大小为至少为客户端数量的50%
  ①即使对手放大模型更新，更新向量之间的角度也不会改变，余弦距离也不会受到影响
  ②HDBSCAN算法基于余弦距离分布的密度对模型进行聚类，并动态确定所需的聚类数量，如果模型不适合任何集群，HDBSCAN会将其标记为异常值。
• 动态裁剪
  （1）服务器将所有模型更新的L2范数的中值作为裁剪上限。这里需要考虑可疑模型，以确保即使良性模型被过滤，计算的中值St仍然基于良性值确定
  （2）计算完终止后，只使用被接受的模型进行聚合
  （3）由于客户端报告的数据集大小是不可信的，因此对所有客户的贡献进行平均而不加权
• 适应性噪声
  基于局部模型之间的差异（距离）估计灵敏度来确定噪声量，这可以在不访问训练数据的情况下进行
  4.伪代码
  

---

总结

本文使用了动态的聚类方法、动态设置梯度裁剪上限、动态设置噪声范围，从而实现了性能与安全性的权衡。但是阅读论文过程中，存在以下疑问：

1. 聚类过程中，若所有聚类均小于客户端数量的一半，该如何处理。
2. 本文假设恶意客户端数量小于客户端总数的一半